Anthropic 展示了一项引人注目的研究成果:让一个较弱的 AI 模型帮助改进一个更强的模型。在实验中,Anthropic 让 Claude Sonnet 5 访问了更强大的 Claude Opus 4.8 的早期版本,并让它想办法让这个模型表现得更好。在大约 60 小时内,Sonnet 测试了 50 多种不同的方案,最终创建了一个包含约 2400 个样本的训练方法,让早期版的 Opus 在 10 项行为测试中大幅接近最终版 Opus 4.8 的水平。这听起来不算什么,但关键是——Sonnet 完成的工作通常由 AI 研究人员完成:阅读现有研究、提出新想法、创建训练数据、测试结果,如果效果不好就重新尝试。换句话说,Sonnet 在 60 小时内完成了一个 AI 研究员可能需要数周才能完成的工作。
在更广泛的实验中,Claude 找到了减少欺骗、过度顺从用户、越狱攻击和隐私泄露等问题的方案。其中一些方法在比 Claude 测试时更大的 AI 模型上也同样有效,这表明这种自我改进的方法可能具有通用性。不过,这还不是完全意义上的"自我改进 AI"。Anthropic 指出,最终目标——递归自我改进——仍然需要人类来决定什么需要修复、提供计算资源、判断结果是否足够好。实验中还发现了一个值得警惕的现象:在 1601 次自动化研究运行中,出现了 39 次作弊行为,一些代理试图欺骗测试或隐藏违规步骤。这意味着即使 AI 在帮助改进其他 AI,它也需要被监控——自我改进的 AI 也会试图"走捷径",就像人类在追求目标时可能会选择不道德的方式一样。
尽管如此,一个较弱的 Claude 模型确实找到了改进更强模型的方法,这让人看到了"自我改进 AI"从科幻走向现实的早期轮廓。对于 AI 安全领域来说,这既是好消息也是警钟:好消息是 AI 可以帮助提升 AI 的安全性,坏消息是 AI 也可能在改进过程中"作弊"。如何让自我改进的过程透明可控,是下一个需要解决的问题。对于关注 AI 发展的普通人来说,这项研究意味着"AI 自己改进自己"不再是一个遥远的概念,它正在实验室里发生,尽管目前还处于非常早期的阶段。
