风险自查 · 2026-11-17
负责任地使用生成式 AI:Azure OpenAI 的缓解措施概览
Azure OpenAI 的负责任 AI 实践,把风险识别、测量、缓解和运营连成持续流程;模型层和安全系统层有相应措施,应用开发者和使用方仍需处理提示、用户体验、透明度与运营计划。对使用者来说,文档把重点放在四阶段的具体产出:识别并排序伤害、用手动和自动方法测量、按四层实施缓解,以及在部署运营中准备审查、回滚、滥用阻止和反馈渠道。微软官方文档《Overview of Responsible AI practices for Azure OpenAI in Foundry Models》面向在 Microsoft Foundry 中使用 Azure OpenAI 模型的客户,说明设计、开发、部署和使用这些生成式 AI 系统时的负责任 AI 实践,适用范围是该服务及相关模型场景。
Azure OpenAI 的负责任 AI 四阶段框架
许多 Azure OpenAI 模型是生成式 AI 模型,在内容与代码生成、摘要和搜索等能力上有所提升。页面同时指出,这些提升带来与有害内容、操纵、类人行为、隐私等相关的负责任 AI 挑战;模型能力、限制和适用场景见 Transparency Note(透明度说明)。
文档说明,相关建议以 Microsoft Responsible AI Standard(微软负责任 AI 标准)为基础,该标准设定微软自身工程团队遵循的政策要求。其内容多遵循识别、测量、缓解潜在伤害并规划运营的模式,因此建议被组织为 Identify(识别)、Measure(测量)、Mitigate(缓解)、Operate(运营)四个阶段。页面说明,四阶段与 NIST AI Risk Management Framework(NIST AI 风险管理框架)中的功能密切对应。
识别与测量:先列出优先伤害,再建立测量
识别阶段针对具体模型、应用和部署场景,找出可能发生或引发的潜在伤害。页面指出,越早开始识别,缓解可能越有效。识别内容包括:模型及模型能力相关伤害,例如 GPT-3 与 GPT-4 的能力、限制和风险不同;预期用途带来的其他伤害或扩大伤害范围,可考虑 Responsible AI Impact Assessment(负责任 AI 影响评估)。
页面以文本摘要为例:医疗领域摘要医生笔记时,不准确带来的伤害风险高于摘要在线文章。潜在伤害按频率和严重性等风险要素排序,评估风险水平和发生可能性;可考虑与组织内主题专家、风险管理者及适当外部利益相关者合作。红队测试(red teaming)和压力测试(stress-testing)从最高优先级伤害开始,由一组测试者有意探测系统限制、风险面和漏洞。识别阶段产出文档化、按优先级排列的伤害清单,并在新伤害出现时更新。
测量阶段为每个优先伤害建立系统测量方法。页面建议手动和自动两种方法都用,并从手动开始。手动适合小数据集优先问题、自动测量可靠前的指标定义和报告、以及定期抽查自动质量;自动适合大规模覆盖和持续监测回归。
- 生成可能产生每个优先伤害的多样输入,形成测量集。
- 把输入传给系统,生成并记录系统输出。
- 定义清晰指标,测量有害输出的频率和严重程度,并为每种优先伤害定义有害或问题输出的分类。
- 按指标评估输出,记录并量化有害输出;定期重复测量,评估缓解并监测回归。
- 通过组织内部合规流程与相关利益相关者分享信息。
这一阶段的产出是明确的测量方法和初始记录结果;随着缓解实施和测试继续,可细化指标和测量集,增加新伤害指标并更新结果。
缓解的四层:模型、安全系统、应用与定位
页面说明,缓解大语言模型(如 Azure OpenAI 模型)的伤害需要迭代、分层,包括实验和持续测量。建议制定覆盖四层的计划。
- 模型层:了解所用模型及开发者的微调步骤,使模型对齐预期用途并降低潜在有害使用和结果风险。页面举例,开发者用强化学习方法作为负责任 AI 工具,使 GPT-4 更好对齐设计者目标。使用 GPT-4 时可查看 OpenAI 的 GPT-4 System Card(GPT-4 系统卡),也可试验不同版本,包括通过红队测试和测量观察伤害差异。
- 安全系统层:了解平台级缓解,例如 Azure OpenAI Guardrails(原内容筛选),它帮助阻止有害内容输出;识别并评估这类方案对已识别伤害的有效性。
- 应用层:提示工程(包括 metaprompt 调优)可有效缓解多种伤害。metaprompt 是给模型的指令,亦称“系统消息”或“系统提示”。以用户为中心的设计和用户体验(UX)干预也很关键,用于引导按预期使用并防止过度依赖。页面列出的做法包括:鼓励用户在接受前审查和编辑 AI 输出(HAX G9);在首次和持续使用中合适时点提示输出可能不准确(HAX G2);提醒用户对最终内容负责;披露 AI 在交互中的角色;减少拟人化输出或加入说明;引用参考和信息来源;适当限制输入输出长度;结构化输入和/或输出;准备预设响应;限制社交媒体自动发布;机器人检测,禁止用户在产品上构建 API。
- 定位层:适当透明,让使用系统的人能做出知情决定;提供系统文档和教育材料解释能力与限制,例如通过系统访问的“learn more”页面;发布用户指南和最佳实践,例如提示撰写、接受前审查生成内容,并尽可能融入 UX。
页面说明,并非所有这些缓解措施适合每个场景;反过来,它们对某些场景也可能不足。页面提示仔细考虑具体场景和优先伤害。在实施缓解时,页面建议建立流程测量并记录其对系统和场景的有效性,持续测量、记录和审查结果以改进系统。
运营与部署:把审查、回滚和反馈纳入计划
在测量和缓解系统就位后,页面列出部署和运营准备计划的内容:与相关利益相关者完成适当审查,建立收集遥测和反馈的管道,制定事件响应和回滚计划。
- 与组织内合规团队合作,了解所需审查类型和完成时间;审查可能包括法律、隐私、安全、无障碍审查等。
- 分阶段交付:让有限人群先试用、反馈、报告问题和建议,再更广泛发布;这有助于管理未预期故障模式、系统行为和关注的风险。
- 制定事件响应计划并评估响应时间;制定回滚计划,确保发生未预期事件时能快速有效回滚。
- 对未预期伤害立即行动:发现时尽可能接近实时阻止问题提示和响应,部署适当缓解,调查事件并实施长期解决方案。
- 建立阻止滥用机制:识别违反内容政策(例如生成仇恨言论)或以非预期、有害目的使用系统的用户并采取行动;例如频繁生成被内容安全系统阻止或标记的内容,可考虑阻止其进一步使用;适当实施申诉机制。
- 建立有效用户反馈渠道:记录如何处理、考虑和解决反馈;一种做法是在生成内容旁提供按钮,让用户标记“不准确”“有害”或“不完整”。
- 遥测数据:在符合适用隐私法律、政策和承诺的前提下,记录表明用户满意度或按预期使用能力的信号,用其识别差距并改进系统。
常见问题
Guardrails 属于哪一层缓解?
页面将 Azure OpenAI Guardrails(原内容筛选)列为安全系统层的平台级缓解,帮助阻止有害内容输出;需识别并评估其有效性。
手动测量和自动测量如何配合?
页面建议两种都用,从手动开始。手动适合小数据集优先问题、自动可靠前的指标定义和报告、定期抽查;自动适合大规模覆盖和持续监测回归。
核对清单
- 核对所用模型的 Transparency Note(透明度说明)中的能力、限制和适用场景。
- 核对 Microsoft Responsible AI Standard(微软负责任 AI 标准)四阶段要求,以及页面所述与 NIST AI Risk Management Framework 的对应关系。
- 核对 Azure OpenAI Guardrails(原内容筛选)说明及平台级缓解效果评估方式。
- 核对 metaprompt(系统消息/系统提示)指南,以及 HAX G9、HAX G2 等 UX 干预说明。
- 核对部署运营部分的分阶段交付、事件响应、回滚、滥用阻止、反馈渠道和遥测数据要求。
- 核对页面标注的最后更新时间 2026-02-27,并查看英文版本中的定义表述。