微软称AI智能体类似内部威胁 前沿模型不可信

AI 驱动中国 江汀 533次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

据外媒报道,微软(Microsoft)称AI智能体类似内部威胁,企业需监控员工使用的不受OpenAI、Anthropic等AI实验室控制的系统。该表态把前沿模型不可信、第三方智能体接入与权限治理纳入企业安全议题,反映AI落地从模型输出安全扩展到运行时风险管控。

驱动中国10月20日消息,据 TechCrunch 报道,微软(Microsoft)当地时间10月19日表示,AI 智能体(AI agents)在企业环境中可能类似内部威胁,因为前沿模型(frontier models)不能简单被信任。微软建议企业密切监控员工使用、且不受 OpenAI、Anthropic 等 AI 实验室控制的系统。

这一表态的背景是,生成式 AI 正从单纯的问答工具,转向能够代表用户执行任务的智能体。随着 AI 智能体开始接入邮件、文档、代码仓库、流程系统等企业环境,它们不再只是生成内容,还可能读取信息、调用工具、完成操作。

微软(Microsoft)将 AI 智能体与内部威胁类比,重点在于这类系统已经获得一定权限,但其行为边界、数据访问路径和工具调用过程未必完全可控。相比外部攻击,已接入企业系统的智能体更容易触及敏感数据与关键流程。

报道提到 OpenAI、Anthropic 等 AI 实验室,微软(Microsoft)关注的是员工使用的那些不由这些实验室直接控制的系统。换言之,企业需要判断这些第三方或自主部署的智能体是否具备足够的安全约束,而不能仅依赖模型厂商的默认治理。

从企业安全角度看,AI 智能体的风险并不只在模型输出是否准确,也包括权限是否过大、数据是否被不当访问、任务执行是否可审计、异常行为能否被及时发现。前沿模型不可信的判断,意味着企业需要把外部监控、日志记录和访问控制纳入 AI 使用流程。

该观点也反映出 AI 安全议题正在扩展:从内容安全、模型对齐,延伸到智能体运行时安全、第三方工具集成安全和企业身份权限管理。对于同时使用多家模型和多种智能体组件的企业,安全团队需要把 AI 智能体纳入统一治理框架。

目前公开信息仍较有限,微软(Microsoft)的核心建议是,企业应密切关注员工使用的 AI 智能体,尤其是那些不受 OpenAI、Anthropic 等 AI 实验室控制的系统,防止智能体在获得权限后形成类似内部威胁的安全风险。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/526691.html
本文价值 ★★★★★ 3 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友