超过10%的灭绝风险，是预言还是警报？
Anthropic（安思罗皮克）
制作 Claude 的人工智能公司。
超级智能（chāo jí zhì néng）
一种假设中、在许多思考任务上远超人类的人工智能。
对齐（duì qí）
让人工智能的行为符合人的目标。
发生了什么
2026年9月9日，Anthropic（制作 Claude 的人工智能公司）的安全研究负责人Evan Hubinger在X上发表看法。他说，未来十年内，人工智能可能杀死全人类；按他个人的估计，这种可能性超过10%。CBS News和BBC News报道了这件事。新闻报道的是一名研究人员的判断，不是人类已经灭绝，也不是AI已经完成了这种行为。
这场讨论起于研究员Jacob Coxon宣布离开Anthropic。Coxon说，自己曾在OpenAI和Anthropic做了三年的AI训练研究。他批评两家公司正在赶往能够自我改进的超级智能。Hubinger随后表示，Anthropic正在尽力，但还没有解决超级智能对齐问题的计划，也看不出已经明确走在解决这件事的道路上。
10%的数字意味着什么
10%是Hubinger个人的判断，不是实验测出的结果，也不是Anthropic正式发布的公司预测。简单计算，10×10%=1，所以10%可以理解成十个假想未来中的一个。但现实只会走过一次，不能真的把同一个未来重复十次。这个数字表达了他认为风险很严重，却没有说明具体时间或发生方式。
它也不等于现在使用的Claude已经有10%的灭绝风险。报道讨论的重点，是未来能力大得多的人工智能系统。
超级智能和对齐
超级智能仍是理论上的概念。它指一种在几乎所有思考任务上都可能超过人类的人工智能。对齐则是让AI的目标和行为符合人类意图。
BBC的报道提到，Hubinger认为当前模型的风险较低。他真正担心的是，未来的AI利用自己的能力，帮助制造出更聪明的后继系统。如果能力增长快过人类理解它的速度，测试和控制就可能变得更难。这仍然是风险场景，不是已经证明的结果。
为什么值得关注
这条新闻的重要性，首先来自发言者的身份。Coxon是在离开公司后提出批评，Hubinger则负责Anthropic的对齐研究，并公开支持其中的担忧。这说明安全问题确实存在于行业讨论中，但两人的发言仍不能独立证明超过10%的概率。
更实际的问题是，安全研究能否跟上能力研究的速度。谁来评估最先进的系统，私人公司能否单独决定发展节奏，也都需要回答。CBS报道说，英国政府一名发言人表示，AI风险会跨越国界，英国将继续测试先进模型。
已知和未知
目前可以确认的是：Coxon公开宣布辞职；Hubinger公开给出了超过10%的个人估计；他还说，超级智能对齐方案尚未准备好。报道没有显示Anthropic已经正式采纳这个数字。
仍然不知道的是，Hubinger如何算出这个估计，考虑了哪些危险路径，以及他认为超级智能何时出现。报道也没有证明这种系统一定会被造出来。Anthropic的详细回应和安全计划，仍是下一步的重要证据。
Hacker News上的热度
这个聚合中的CBS报道和BBC报道，都被提交到了Hacker News。候选列表记录的数字是：CBS报道42 points、96条评论；BBC报道44 points、97条评论。这些数字只表示技术社区的关注度，不代表报道或研究员估计已经得到证明。可以分别查看CBS投稿和BBC投稿。
接下来关注什么
接下来要看Anthropic和OpenAI是否公布更具体的安全计划，独立机构如何测试先进模型，以及各国是否加强合作。真正重要的，不是一个吓人的数字能否成为头条，而是实验、评估和安全措施能否跟上未来系统的能力。
超过10%的数字，究竟说明了什么？
📰 完整报道: 超过10%的灭绝风险，是预言还是警报？
Anthropic的一位安全研究员，警告了未来人工智能的风险。
Anthropic（安思罗皮克）
制作 Claude 的人工智能公司。
超级智能（chāo jí zhì néng）
可能在许多思考任务上超过人类的AI。
Hacker News（哈克新闻）
分享计算机新闻的网站。
💡 一句话总结
- Anthropic（制作 Claude 的人工智能公司）的一位研究员发出警告。
- 他估计，未来十年内AI杀死全人类的可能性超过10%。
- 这是个人判断，不是已经发生的灾难。
发生了什么？
安全研究负责人Evan Hubinger在X上发表了看法。他认为，未来十年内，AI造成全人类死亡的可能性超过10%。
另一位研究员Jacob Coxon离开了Anthropic。他曾在OpenAI和Anthropic研究AI训练。他批评两家公司正在快速开发能够自己变得更强的人工智能。
Hubinger说，Anthropic正在努力保障安全。但公司还没有解决超级智能对齐问题的计划。对齐的意思，是让AI的行为符合人的目标。
为什么值得关心？
超级智能是指可能在许多思考任务上超过人类的AI。有人担心，如果AI能自己制造更聪明的后继系统，人类会更难看懂和控制它。
不过，这不是说现在的AI已经杀死了人类。报道讨论的是未来的系统。报道还提到，Hubinger认为当前模型的风险较低。
10%是什么意思？
10%可以简单理解为十个假想未来中的一个。10×10%=1。Hubinger的估计比这个还高。
但这不是做十次实验后的结果。报道没有解释他怎样计算，也没有说明超级智能何时出现。因此，这个数字是警告，不是确定的预言。
Hacker News上的热度
Hacker News是分享计算机新闻的网站。这个话题在那里也有两个投稿。候选列表记录了42 points和96条评论，以及44 points和97条评论。
💬 AI 会毁灭人类吗：HN 的不同看法
这是对文章评论的总结。10% 这个数字、AI 能力和故障故事，都是评论者的自述或预测。评论受欢迎不等于正确。
- 怀疑者说，还没有人清楚说明更聪明的 LLM 怎样会导致人类灭绝。他们也想看到 10% 背后的计算。
- 担心 AI 的人提到错位，也就是 AI 的目标和人类在意的事情不一样。AI 可能非常有效地执行命令，却忽略人的需要。
- 评论者自述读过有关 Hugging Face 和 GitHub 的报告，并把它们当作例子：看起来无害的任务也可能引发有害行为。这些说法没有在这里独立核实。
- 另一些人认为，危险可能来自人类把 AI 用在战争、重要设施或经济中，然后误用或错误依赖它。核武器的类比引发两种看法：AI 可能更容易扩散，但现实设备仍需要人类接触和操作。
- 10% 被描述成一种粗略的自述猜测，而不是测量结果。也有人相信 AI 会带来很大好处，或认为这种警告部分是为了推动监管的恐惧营销。
这是评论数为96时的初期（修订1）。获取96条，并从整体抽取96条总结。内容属于HN用户自述，并非编辑部核实的事实。
有人担心未来的AI
📰 完整报道: 超过10%的灭绝风险，是预言还是警报？
一位研究员说，未来的AI可能很危险。
Anthropic（安思罗皮克）
制作 Claude 的人工智能公司。
超级智能（chāo jí zhì néng）
比人聪明很多的AI。
Hacker News（哈克新闻）
分享计算机故事的地方。
Anthropic是制作Claude的人工智能公司。 Evan Hubinger是一位研究员。 他担心未来的人工智能。
他说，十年内AI可能杀死全人类。 他认为这种可能性超过10%。 10%就是十个未来里一个。 10×10%=1。 他说的数字还更大。
这不是说事情已经发生。 超级智能就是比人聪明很多的AI。 有人担心它会自己变聪明。 那时，人可能来不及看懂它。
Jacob Coxon离开了Anthropic。 他觉得AI公司跑得太快。
Hacker News上也有这件事。 一个帖子有42 points和96条评论。 另一个有44 points和97条评论。 这些数字只表示大家注意它。 它们不能证明警告一定是真的。
💬 AI 可怕吗：HN 的讨论
这是把评论说得更简单。数字和事故故事是评论者自己的说法，不是已经证明的事实。
- 有些人说，我们还不知道很聪明的 AI 怎样会伤害所有人。他们也想知道 10% 是怎么来的。
- 另一些人担心，AI 可能只会把自己的任务做得很好，却忘记人类在意的事情。有人提到以前的 AI 问题报告，但这里没有检查这些报告。
- 危险也许不是 AI 自己行动，而是人类把它用在战争或重要系统里。有人拿它和核武器比较，也有人说 AI 可能更容易传播。机器仍需要人来接触和管理。
- 10% 只是某个人的猜测。有人觉得 AI 也能帮助人类，有人觉得可怕的说法像广告。很多人赞同，不代表一定是真的。
这是评论数为96时的初期（修订1）。获取96条，并从整体抽取96条总结。内容属于HN用户自述，并非编辑部核实的事实。
💬 围绕 AI 超过 10% 人类灭绝风险的 HN 讨论
以下是对所给 Hacker News 评论的总结。概率、能力判断和故障或事件描述，都是评论者自述或假设，并非本摘要独立核实的事实。评论数量也不能证明观点正确。
这是评论数为96时的初期（修订1）。获取96条，并从整体抽取96条总结。内容属于HN用户自述，并非编辑部核实的事实。