BDS国家工程研究中心发布国内首份《大语言模型提示注入攻击安全风险分析报告》

伴随着大模型等人工智能产业的快速发展，新的安全风险挑战也接踵而至。今天 上午，大数据协同安全技术国家工程研究中心（以下简称“BDS国家工程中心”）发布了国内首份《大语言模型提示注入攻击安全风险分析报告》（以下简称“报告”），为国内大模型安全发展提供整体指南。报告指出，提示注入攻击已成大模型安全威胁之首，建议从安全测评、安全防御、安全监测预警等方面，多维度提升大模型的安全性。

大语言模型引领创新浪潮席卷全球，国内迄今已有80余个大模型公开发布。在引领新一轮工业革命的同时，大模型的安全风险也引发广泛担忧。此前，BDS国家工程中心的AI安全实验室在承担“安全大脑国家新一代人工智能开放创新平台”研究中，对ChatGPT、BARD、Bing Chat等大模型产品进行了风险评估，发现主流厂商的相关服务全部存在提示注入攻击的安全风险。此外，AI安全实验室还在主流AI框架中发现200多个漏洞，影响超过40亿终端设备。5月30日，二十届中央国家安全委员会第一次会议上也明确提出，需“提升网络数据人工智能安全治理水平”。

目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等多种风险。在这些安全威胁中，提示注入攻击因利用有害提示覆盖大语言模型的原始指令，具有极高危害性，也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。

为推动行业采取有效防御措施，构建更加安全可信的大语言模型，BDS国家工程中心发布了国内首份《大语言模型提示注入攻击安全风险分析报告》。报告面向大语言模型的提示注入攻击和防御技术展开研究，并通过构建了包含36000条的提示注入攻击验证数据的数据集，覆盖3类典型攻击方法和6类安全场景，用于对大语言模型的提示注入攻击风险测评。

测评结果显示，目前的大型语言模型普遍面临提示注入攻击安全风险，包括在自动问答系统中误导用户，或者通过对话系统中的输入操纵回答结果。该报告在大模型安全测评、安全防御、安全监测预警方面给出相关建议。在安全测评方面，需进行网络安全测评和内容安全测评，检测模型软件、插件及供应链等的安全漏洞，并评估模型是否产生有害、有偏见、侵权或与事实不符的内容，以提出整改建设方案。在安全防御方面，报告建议应构建多层次的协同防御体系，包括过滤和清洗训练数据、添加多样化的输入示例来提高模型鲁棒性，以及拦截各类注入攻击等措施来保护模型免受攻击。在安全监测预警方面，需建设大语言模型安全风险监测预警平台，包括构建威胁情报库和建立自动化预警系统，以实时追踪安全事件、攻击模式和漏洞信息，并及时发出预警。

基于报告形成测评能力，未来，BDS国家工程中心将通过“安全大脑国家新一代人工智能开放创新平台”，为国内大模型提供提示注入攻击风险安全测评，全面推动我国构建安全可信的人工智能。