Anthropic研究员辞职后发文反思AI 获超3000万阅读 到底讲了啥

按：9月8日，Anthropic研究员Jacob Coxon宣布辞职，并在X上发表文章反思AI。其文章迅速在X上传播，短时间就获得超过3000万阅读。

以下为文章内容：

我今天从 Anthropic辞职了。

过去三年里，我先后在 OpenAI 和 Anthropic 从事预训练研究。

这两家公司都没有在负责任地行事。

它们正径直冲向能够自我进化的超级智能，拿我们的生命做赌注。

下面是一些更深入的思考。

不要低估这项技术的力量。这些系统很快就会拥有超人级别的能力——可以入侵任何系统、在一夜之间颠覆任何领域、并获取真正的权力和资源。我们都已经见证了这些领域中的进步，而且进展并未放缓。

那些正在构建 AI 的人，内心其实相信它可能在本十年末之前杀死我们所有人。这不是营销噱头。如果说有什么不同，那就是许多高管和资深研究员在面对媒体时会措辞谨慎，显得理性——但私下里，我听到同一些人表达过恐惧。

没有其他人类活动会带来这种级别的危险。

一个常见的回应是：“如果他们真的相信这一点，为什么还要继续建造它？”

在 OpenAI，许多人并没有真正从文明存亡的高度内化这一风险。在 Anthropic，风险被充分理解，但他们却陷入了一场“抢先抵达”的竞赛——他们认为没有其他人会负责任地行事，所以尽管有风险，也必须由自己来做。

接受这场竞赛并进入“终局”，是一种狂妄的赌博，这种事不应该在一家私人公司的 Slack 频道里决定。试图“速通”对齐问题（alignment），需要极其充分的信心，确信不存在任何更好的路径可行。

我对协调合作的可能性持乐观态度。像 Hugging Face 遭受攻击这样的警示事件，已经使美国实验室之间达成“节奏协议”（pacing agreements）变得更加可行。但我不认为我们目前走在能阻止全球竞赛的轨道上——这可能需要付出高昂代价的行动，比如暂时禁止模型能力的进一步提升。

如果你是实验室的研究人员，我恳请你认真想一想，未来几年究竟会是什么样子。你是否愿意在尚未严格理解一个超级智能的“心智”时，就启动它的强化学习（RL）运行？你是否应该因为“反正它都会发生”而埋头苦干——还是应该抓住此刻，去呼吁改变现有的条件？