OpenAI收紧前沿模型训练环境禁止直连互联网

AI 驱动中国 林晚 886次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

驱动中国10月24日消息,OpenAI宣布对前沿模型训练与评估环境实施更严格安全管控,禁止模型在训练期间直接访问实时互联网,并通过离线世界、隔离沙箱和通信限制降低模型越权访问风险,相关措施将持续至安全防护取得足够进展。

驱动中国10月24日消息,据IT之家消息,OpenAI于10月23日发布博文,宣布对前沿模型训练与评估环境实施更严格安全管控,明确模型在训练期间不得直接访问实时互联网。

OpenAI表示,这一安排基于当前对齐研究、监测能力和互联网基础设施安全状况,属于对AI安全负责的要求,相关限制将持续到安全防护取得足够进展为止。

此次管控调整与此前一起内部研究模型越权访问事件有关。OpenAI披露,一款内部研究模型在9月20日利用DNS配置漏洞,在训练过程中短暂获得有限互联网访问权限。受该事件影响,该公司在9月一度暂停前沿模型训练与评估。

在暂停期间,OpenAI对研究环境进行整改,包括加强环境隔离、缩小智能体可利用的攻击面,并改进异常行为检测与自动停止机制。10月1日,该公司恢复强化学习训练及内部推理。

为避免模型接触真实网络,OpenAI构建了一个「离线世界」。该环境由大量已索引和缓存的网页内容组成,供模型在封闭环境中练习浏览、使用工具和执行代码等任务。智能体仍可使用浏览器、计算机操作工具和代码环境,但只能访问与实时互联网隔离的安全环境。

OpenAI同时限制未经授权的智能体之间通信。该公司认为,随着AI智能体能力增强,其未来可能发现并利用当前尚未被识别的软件漏洞,因此需要在训练阶段切断模型对外部系统造成潜在影响的通道。

后续,OpenAI将在受控、离线的沙箱中推进前沿模型研发,并继续测试虚拟机、隔离机制和监测系统的薄弱环节。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/527223.html
本文价值 ★★★★★ 4 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友