风险自查 · 2026-11-15
用 AI 助手办公,哪些环节需要人工把关
美国国家标准与技术研究院(NIST)的人工智能风险管理框架供自愿使用,关注 AI 产品、服务和系统的设计、开发、使用与评估。微软的 Azure OpenAI 透明度说明面向开发、部署、使用或受 AI 系统影响的人,提示工作中使用 AI 时关注模型能力、内容准确性和实际操作。
人工把关从哪里开始
NIST 表示,框架旨在帮助管理人工智能对个人、组织和社会带来的风险,并将可信赖性纳入产品、服务和系统的相关环节。微软则把 AI 系统看作技术、使用者、受影响的人以及部署环境的组合。
因此,理解办公助手不能只看它能生成什么,还要看使用的是哪种模型、输入了什么、输出会怎样被使用,以及系统是否会执行操作。微软说明,系统所有者作出的选择会影响系统的表现和行为。
先看模型能处理什么
微软介绍,Azure OpenAI 中的不同模型支持的输入和输出并不相同。有的模型处理自然语言和代码;有的模型能够接收图像与文本,生成自然语言或代码;另有模型处理语音转录、翻译或语音交互。
例如,微软说明,Azure OpenAI 的转录模型可以把语音音频转成原语言文字,也可以将非英语语音翻译成英语。这里的转录由模型自动生成,不同于人工转录。它适合让读者区分模型输出和人工整理的文字,但不能把一种模型的能力直接当作所有模型的能力。
生成内容需要核对什么
微软将“无依据内容”定义为模型生成的不符合事实,或与原始材料不一致的内容。对于用于工作的文本,事实是否准确、表述是否与所给材料一致,是人工复核时可以关注的环节。
微软还说明,文本和代码模型会根据输入上下文预测后续文本。提示中可以只给出任务,也可以提供示例;模型在这一步是根据上下文进行预测,而不是重新训练。输入内容和示例不同,属于系统所有者可以考虑的选择。
微软介绍的深度研究模型可以拆解任务、进行网页搜索,并综合生成带有引用的结构化报告。报告带有引用,属于其输出形式;对报告内容及其引用的核对,仍是读者可以关注的事项。
自动操作与评估
微软说明,Computer Use(预览版)模型接收文本和截图,并输出键盘、鼠标命令。它与相应工具结合时,可以将这些动作转为可执行命令,用于自动化计算机操作。微软举出的场景包括识别客户支持表单字段、填写信息和提交表单。
这类能力涉及的不只是生成文字,也包括实际动作。系统会执行哪些操作、在哪里运行,以及由谁使用或受影响,都属于理解整个系统时可以关注的内容。
微软提供的 Azure OpenAI Evaluation 可用于评估数据和模型输出,测试项目包括事实性、格式和文本质量等;部分测试需要真实标准数据。微软表示,评估对于了解不同模型版本对具体应用的影响,以及衡量微调后的表现变化尤其重要。
核对清单
- 核对所用模型在微软官方页面列出的输入、输出类型和适用能力。
- 核对生成内容中的事实,以及它与输入材料是否一致。
- 核对语音转录或翻译所用模型支持的语言范围和输出形式。
- 核对系统是否使用 Computer Use 工具,以及工具能够执行哪些动作。
- 核对微软官方页面列出的评估项目,以及哪些测试需要真实标准数据。
- 核对微软透明度说明的英文版本;微软说明非英语译文仅供方便使用。