助手任务选择表

安全 · 2026-11-19

大模型聊天工具有哪些安全风险:英国国家网络安全中心怎么说

英国国家网络安全中心面向网络安全专业人员、公共部门和大型机构发布的博客,讨论了英国背景下使用大模型聊天工具时近期可能出现的网络安全问题。博客指出,提交给公开大模型的内容可能被服务提供方保存或查看,工具给出的回答也可能看似可信却包含错误。

大模型聊天工具如何生成回答

大语言模型通过大量文本数据训练。训练数据通常从开放互联网获取,可能包括网页,也可能包括科研资料、书籍或社交媒体内容,具体取决于模型。由于数据量很大,在导入时无法筛除所有冒犯性或不准确的内容,模型中很可能包含有争议的内容。

模型会分析不同词语之间的关系,形成概率模型。用户输入问题或其他提示后,工具根据模型中词语之间的关系生成回答。用户也可以在提问时加入上下文,例如复制一段较长的文字或整份文件,让模型结合这些内容作答。

大模型聊天工具的安全风险:提问内容可能被看到

博客写作时,大模型经过训练后供用户提问,提问中的信息不会自动加入模型,也不会因此直接成为其他人可查询的模型内容。

但提供大模型的机构可以看到用户提交的问题。这些问题会被存储,几乎肯定会在某个时候用于开发服务或模型。提供方及其合作伙伴、承包方可能能够阅读这些问题,也可能以某种方式将它们纳入未来版本。博客因此强调,在提出敏感问题前,需要充分了解服务的使用条款和隐私政策。

一个问题是否敏感,不只取决于输入了什么数据。提问的人是谁、提问发生在什么时候,也可能使问题变得敏感。例如,某人询问涉及自身健康或关系的问题,问题本身就可能透露个人情况。同一登录账号下的多次提问,也可能被汇集起来。

保存在网上的问题还可能遭到入侵、泄露,或因意外而公开,其中可能包含能够识别用户身份的信息。博客还提到,运营方日后可能被另一家对隐私持不同态度的机构收购。

英国国家网络安全中心建议,不要在向公开大模型提问时加入敏感信息,也不要提交一旦公开就会造成问题的提问。博客同时提醒个人和机构,选择放入提示中的数据时要格外谨慎。

回答流畅,不代表事实正确

大模型能够用多种人类语言和计算机语言生成令人信服的内容,但也存在明显缺陷。它可能弄错事实,或编造错误信息;回答可能带有偏见,也容易受到诱导性问题影响。博客还指出,大模型可能被诱导生成有害内容,并容易受到注入攻击。

博客讨论网络攻击场景时指出,当问题涉及更小众的主题,大模型可能给出听起来可信、实际上只有部分正确的回答。在相对简单的任务中,能够验证输出的专家可以借助大模型节省时间;对于更复杂的任务,纠正模型输出本身可能需要花费时间。

机构处理敏感信息的不同方式

博客提到,一些机构可能希望用大模型自动处理业务任务,并通过补充训练或在提示中加入上下文的方式提供敏感信息。英国国家网络安全中心不建议通过公开大模型这样做,同时介绍了云服务提供的大模型和自行托管的大模型两种方式。

使用云服务提供的大模型时,使用条款和隐私政策仍然重要。机构需要了解用于补充训练或加入提示的数据如何管理,例如提供方的研究人员或合作伙伴能否接触数据、以何种形式接触,以及提供方员工在什么条件下可以查看提问。

自行托管的大模型很可能费用高昂。博客说明,在完成安全评估后,这种方式可能适合处理机构数据。评估包括参考英国国家网络安全中心关于机器学习安全、基础设施安全和数据供应链的指导。

大模型与网络攻击

博客讨论了大模型可能被用于协助网络攻击的风险。攻击者可能询问自己不熟悉的技术问题,并得到听起来可信的回答;这些回答可能帮助攻击,也可能建议一些加快攻击者被发现的做法。博客认为,攻击者的提问很可能同样会被大模型运营方存储和保留。

大模型还擅长按要求模仿写作风格。博客指出,犯罪分子可能利用这一能力,用不同语言撰写更有说服力的钓鱼邮件,或进行社会工程攻击。对于技能较弱的攻击者利用大模型写出能力很强的恶意软件,博客认为这种风险较低。

核对清单

  • 核对所用大模型服务的使用条款和隐私政策,了解提问内容如何被处理。
  • 核对准备提交的内容是否包含敏感信息,以及问题公开后是否可能造成影响。
  • 核对同一账号下多次提问合在一起可能透露哪些信息。
  • 核对云服务提供方是否允许研究人员或合作伙伴接触用于补充训练或提示的数据,以及提供方员工在什么条件下可以查看提问。
  • 核对工具回答中的事实,并留意内容流畅与事实正确是两回事。

资料来源

← 全部文章