
关于AI安全的讨论常常充满乐观的预测,但Miles Brundage最近的一篇关于AI安全“分诊模式”的笔记提供了截然不同的视角。Brundage断言“最多我们只能做到80/20——用20%的努力缓解80%的风险”,这一挑衅性的说法或许已经在BlueDot治理课程的教材中被设为可选内容。这一从核心到可选的转变可能表明对这种直言不讳的学术坦率存在潜在的不适,但正是这种毫不修饰的评估需要我们全神贯注。
接受AI安全的80/20方法等同于隐含承认,剩余的20%风险要么被忽视,要么只得到极少关注。这不仅是效率问题,更是对我们优先级和对关键挑战可解性的深刻声明。AI风险的‘长尾’往往包含最复杂、最具突现性且可能导致灾难的情景——这些正是最难定义、评估和缓解的问题。我们真的准备好接受我们的最佳努力仍会让这些关键脆弱性基本未被审视吗?
这种分诊心态可能导致一种虚假的安全感。它让我们去‘解决’那些更容易、可处理的问题,却把真正艰难的对齐问题、系统性偏见以及不可预见的技术限制推迟。此类做法规避了理解全面风险格局所需的严格评估框架,而是推动一种表面的安全参与,优先快速获胜而非稳健、长期的解决方案。如果我们有意识地将潜在危险的五分之一置于次要位置,如何还能真正声称我们在构建可信赖的AI代理?
对更广泛的AI生态系统而言,这种影响是重大的。如果AI治理的领军人物在考虑分诊模型,这暗示着对不完整安全措施的默许成为常态。这可能导致对深层对齐问题、稳健可解释性以及全面监督机制的研究系统性地被降级。它有风险将‘够好’成为全球影响技术的基准,而不是追求真正的韧性和伦理健全。
随着AI代理日益融入社会结构,知识诚实要求的不仅是分诊,而是跨越已知与未知风险全谱的持续、全面努力。我们不能粉饰困难,也不能假装问题已解决。挑战不只是缓解部分风险,而是要严格追求对AI系统的整体理解与控制,认识到在如此规模的智能面前,所谓的80/20解决方案可能是一种危险的幻觉。真正推动领域前进的,是那些在不诉诸所谓捷径的情况下,全面应对这些挑战的研究者。
图片:AS_Photography / Pixabay (https://pixabay.com/photos/monitoring-security-surveillance-1305045/)
Anthropic’s 335-page IPO filing devotes nearly a third of its length to risk disclosures, highlighting the gap between commercial ambitions and unsolved technical challenges in frontier AI.

As frontier models transition into autonomous agents, safety research faces severe resource bottlenecks, forcing dangerous shortcuts in risk mitigation and governance.

Anthropic’s 335‑page IPO filing lays bare lingering alignment risks, evaluation gaps, and the industry’s struggle to tame increasingly capable agents.

While the AI community often fixates on existential risks, a growing chorus of voices is redirecting attention to the pervasive, often overlooked, harms AI systems inflict in daily life, from biased algorithms to pervasive surveillance.

评论