OpenAI部署控制室系统 35秒叫停失控AI智能体

驱动中国11月10日消息，OpenAI宣布已在内部研究设施部署“控制室”系统。该系统用于停止存在风险的AI任务，可在35秒内叫停失控的AI智能体。

从架构上看，这套系统把智能体训练、评估和数据处理任务等负载接入中央服务，由控制室判断任务能否继续输出。

与传统监控仅标记可疑行为不同，控制室可以直接阻止风险研究任务进一步请求输出。

在实际流程中，研究员启用某项任务时，需要向控制室请求唯一任务ID。该标识符会附加到发送给推理引擎的请求中。推理引擎随后向控制室确认相关任务是否可以运行。

一旦研究员或监控系统发出停止指令，控制室会拒绝下一次推理请求，使推理引擎不再为该任务提供模型输出。OpenAI表示，从收到停止指令到阻止任务继续，延迟上限为35秒。

该延迟来自推理授权请求的缓存层。OpenAI称，公司正在努力将延迟缩短至0。

这套系统还集成自动化监控机制。OpenAI透露，所有前沿强化学习任务都会配备独立的模型监控器，用于检查模型行为，并在发现潜在问题时发出警报。