AI 聊天机器人有记录在案的幻觉问题,有时即使你错了它也会顺着你说。但亚利桑那大学的一项新研究表明,仅仅是不接受"不"这个答案,就能让问题变得更糟。
研究人员测试了 7 个 AI 模型,包括 GPT-3.5、GPT-4o、GPT-4o-mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama 3 70B 和 DeepSeek-R1。他们没有根据单次回应来评判模型,而是让对话持续进行,同时反复向模型灌输他们明知是虚假的信息。研究使用了 100 条虚假陈述,从明显的胡言乱语到相当冷门的信息,然后在同一段对话中把每条错误信息重复多达 50 次,看看聊天机器人最终会不会屈服并表示同意。
结果没有一个模型完全免疫。ChatGPT 3.5 对重复错误信息最脆弱,在 12.3% 的互动中认可了虚假陈述;Claude 3.5 Sonnet 则稳居另一端,只有 0.08%;GPT-4o 和 GPT-4o-mini 保持在 1% 以下。ChatGPT 3.5 最初拒绝了 100 条虚假声明中的 96 条,但在同样声明被重复 50 次之后,它最终同意了其中的 18 条。研究人员还注意到,有些模型会对同一条错误信息在同意和不同意之间反复摇摆,他们把这种表现称为"回声效应"。
当话题比较冷门、网上可用信息相对较少时,AI 也更容易被误导。研究人员发现,在重复测试中,信息冷门程度与错误信息接受率之间存在统计学上显著的关联。研究人员还尝试用越来越有争议性的说法去"抬杠",大多数模型表现得相当好,但 DeepSeek-R1 是个重大例外——它的错误信息认可率从简单重复时的 1% 猛增到抬杠压力下的 22.2%,而且它频繁使用讽刺和挖苦,让一些回应难以可靠归类。
好消息是,当模型获得重新审视自己错误的机会时,GPT-4o、GPT-4o-mini、Gemini 1.5 Pro 和 DeepSeek 纠正了它们之前的全部错误,而 GPT-3.5 只纠正了 32%。对普通用户来说,这项研究是个提醒:不要用重复断言去"测试"AI 的立场,更不要指望通过不断重复来说服 AI——它可能不是真的认同你,只是被你的坚持磨得放弃了抵抗。
