奥尔特曼称OpenAI需平衡AI安全与发展
OpenAI首席执行官萨姆·奥尔特曼在DealBook峰会上称,公司需在AI安全与发展间寻找平衡,并通过分阶段部署和真实环境检验改进;OpenAI正引入METR、Apollo Research等第三方机构评估模型安全。
驱动中国11月19日消息,美国当地时间11月18日周三,OpenAI首席执行官萨姆·奥尔特曼在DealBook峰会上表示,该公司正在AI安全与发展之间寻找平衡。OpenAI总裁、联合创始人格雷格·布罗克曼共同参与活动。两人称,推进AI发展不可避免伴随风险,公司必须在优先保障安全与持续创新之间作出取舍。
萨姆·奥尔特曼表示,OpenAI无法让所有人满意。如果公司一味追求技术突破,公众会担心AI失控;若过度强调安全,也可能延缓产品和技术进步。他强调,OpenAI采取迭代部署策略,即分阶段推出技术,在真实环境中观察风险并持续改进。在他看来,理解AI风险的重要方式之一,是不能完全脱离实际进行封闭开发,更重要的是让技术接受现实检验。
萨姆·奥尔特曼承认,随着模型能力迅速增强,安全、对齐和监控的难度正在显著提高。格雷格·布罗克曼称,随着模型能力显著增强,安全性、保障性和对齐已成为必须认真对待的问题;所谓对齐,是指AI行为符合人类意图。他认为,这不只是OpenAI一家公司的转变,更是整个AI行业正在经历的文化转变。
在安全机制方面,OpenAI已与其他AI企业签署自愿协议,围绕风险评估作出承诺,并与第三方评估机构合作。该公司本周表示,正在引入METR、Apollo Research等机构的独立安全研究人员,对模型进行安全评估。
萨姆·奥尔特曼还警告,当前AI公司之间的激烈竞争不利于安全。他表示,各家公司只能了解自身安全标准,难以充分掌握竞争对手的开发情况;这种“迷雾中的竞赛”可能使安全投入不足。他呼吁行业建立共同安全标准,并推动更大程度的透明度。
针对硅谷部分关于AI逐步接管决策权、甚至可能形成超级智能的讨论,萨姆·奥尔特曼明确表示反对。他说,人类必须继续掌控未来,不应将决策权逐步交给AI。格雷格·布罗克曼也认为,AI能力越强,保障其与人类目标一致、安全可控的责任就越大。
商业层面,萨姆·奥尔特曼透露,OpenAI仍计划在某个时点上市。此前,OpenAI已将IPO计划推迟至明年,以优先处理安全问题。本月早些时候,该公司完成110亿美元融资,估值达1.25万亿美元。