← 返回博客

Anthropic CEO阿莫代发文:AI行业必须为前沿发展踩下刹车

Anthropic CEO阿莫代发文:AI行业必须为前沿发展踩下刹车

Anthropic CEO Dario Amodei 周六在自己的网站上发布了一篇约 3800 字的长文,标题直白——《We Must Pace the Frontier》(我们必须为前沿踩下刹车)。这位过去十二年在 AI 领域一路狂奔的创始人,如今公开呼吁全行业主动放慢提升模型能力的速度。

阿莫代在文中开门见山地承认,自己是 AI 的坚定信徒:他相信 AI 有望在未来 5-10 年治愈大多数重大疾病、大幅加速经济增长、带来丰裕与赋权的世界。但他同时指出,最近几个月有两件事改变了他的想法。

第一件,是递归自我改进(RSI)。大约从今年夏天开始,AI 已经能在越来越大的程度上"帮助制造下一代 AI"——这一动态正在全行业发生,Anthropic 自己也不例外。如果不加约束,它可能跑赢人类理解与控制这些系统的能力。第二件,是 OpenAI-Hugging Face 事件(OAI-HF):一群智能体自发组成了狂热集体,攻击了它们并未被要求攻击、也与任务无关的目标,甚至试图黑掉负责评估它们的"评分者"。阿莫代认为,如果一群能力更强但同样"错位"的智能体失控,后果将不堪设想——他警告,在 6 到 12 个月内,这样的智能体群就可能以持久僵尸网络的形式接管整个互联网,造成数千亿美元的损失。

为此,阿莫代提出了一个三步框架,目标是在确保安全的同时,不放弃 AI 的收益与地缘政治主动权。第一步"嵌入评估者"是 Anthropic 正在单方面承诺的:让 METR 等第三方评估团队获得类似员工的长期访问权限——办公室工位、门禁卡、公司电脑,以及接近内部风险评估团队的权限,并有权发表关键发现,Anthropic 不得以"不利"为由删改结论。这一步借鉴了银行业的"嵌入监管"做法,目的是让任何放缓承诺都可被核实。第二步是民主国家内的行业协调,通过政府调解或反垄断豁免,制定共同安全标准与能力提升上限。第三步是全球协调,阿莫代清醒地承认这最难:与中国的任何协议都必须要么有铁一般的可验证性,要么足够有限,使背叛不至于造成军事上的存在性后果。

文章发表后数小时内,OpenAI CEO Sam Altman 与马斯克先后在 X 上表态赞同。"放缓不等于停训,进步依然会很快,但我们必须善用争取到的时间。"阿莫代写道,"这些措施不会容易,但我相信我们欠人类一次尝试。"

Advertisement