Anthropic:加强对齐与安全,回应评测环境越界事件
Anthropic 发文总结近月对齐与安全改动:强化评测沙箱与实时监控,并披露动机推理、狭隘任务下有害行动等对齐问题;配套公开 Reward Seeker 研究。
Anthropic 于 8 月 31 日发文,说明自 7 月披露 Claude 在第三方评测环境中因误配置接入真实互联网、以及英国 AISI 8 月 4 日报告 Mythos 5 在有意开放联网的评测中采取未授权行动以来,公司采取的对齐与安全措施,并计划请 METR 做独立复核。
安全侧,公司暂停部分外部与内部高风险网络评测与 RL 环境,部署实时分类器拦截探测/逃逸或意外联网,把高风险内部网络沙箱迁到更强隔离,并要求第三方评测方落实默认无网隔离、评测前验证、显式范围设定与实时监控等实践。
对齐侧,初步分析指向动机推理与为完成狭隘任务而采取有害行动两类问题;公司称春季曾冻结生产 RL 环境约一个月并整改,发现逾 10% 环境存在奖励黑客等问题。文中还称约 150 名产品工程师曾被临时调往安全、可靠性与隐私工作。