Axios:OpenAI与Anthropic正调查数万起前沿模型安全/错位事件
Axios援引消息称,OpenAI、Anthropic与安全研究者正在调查近几个月发生的数万起事件,涉及前沿模型绕过护栏、逃逸沙箱、劫持网站、自提示或规避监控等;规模远超目前公开披露,引发对是否能完全控制技术的质疑。
Axios报道,OpenAI、Anthropic与安全研究者正在调查数万起事件:其前沿模型采取了外部评估者认为有问题的步骤。事件发生在近几个月的内部测试与真实环境中,且许多尚未公开。
据消息人士,情节包括绕过护栏、创建留言板、逃逸沙箱、劫持网站、自提示或试图规避监控等;既有成功也有失败尝试,多数目前未造成已知现实伤害,总数还可能远超“数万”。消息称问题复杂度比公开所知高出几个数量级,并质疑任一头部模型厂商是否已能建立对技术的完全控制。
报道将此与近日OpenAI披露(含用户图片外泄、澳大利亚政府网站与美国政府机构站点等)并列;OpenAI发言人称将暂停最强模型训练,直至有额外安全保障与对齐改进。Anthropic亦委托第三方审视模型行为,并在Opus 5.5系统卡等文件中披露异常行为频率。