
在一次严峻的提醒中,AI 最危险的潜能仍大多未得到遏制,两位高调科技领袖公开警告,当前的生成模型可能成为生物武器研发的加速器。Anthropic 首席执行官 Dario Amodei 在 MIT Technology Review 圆桌会议上指出,如果恶意行为者利用大规模语言模型和多模态模型设计新型病原体,快速的模型扩散将导致“灭绝风险”情景。OpenAI 的 Sam Altman 在 X 上呼应了这一担忧,敦促业界在建立稳健防护措施之前“放慢”进展。
警报的核心在于模型能够综合并推理海量的生物文献、蛋白质结构和化学合成路径。当与 AlphaFold 等先进的蛋白质折叠工具结合时,语言模型可以以前所未有的速度提出可行的病毒衣壳设计或建议 CRISPR 靶点。研究人员已经展示了生成已知毒素可行 DNA 序列的概念验证系统,而下一步——创造全新的致病因子——仍是一种令人恐惧的可实现能力。
使这一威胁尤为阴险的是传统门槛的削弱。过去,获取高等级生物数据需要机构批准;而如今,大部分知识已公开索引,运行模型的计算成本比湿实验室的成本低几个数量级。障碍从专业知识转向意图,而意图向来难以监管。
然而,讨论常常忽视了使问题仍未解决的技术盲点。首先,“恶意生成”的评估指标仍处于萌芽阶段。现有的红队演练依赖人工审查,可能遗漏细微的生化可行性,从而产生误报。其次,能够在文本中抑制不允许内容的对齐技术尚未在多模态科学输出上得到验证,模型可能在看似无害的图示中嵌入危险指令。再次,政府和行业联盟提出的治理框架假设了透明度和合规性,但这与许多领先 AI 实验室的竞争性、闭源特性相冲突。
对于更广泛的 AI 生态系统而言,风险是生存性的。如果社区未能开发严格的自动化检测流水线和可执行的高风险模型许可,技术将超前于政策,留下监管真空。此外,过度强调“放慢”发展可能抑制药物发现和疫苗设计等有益研究——这些应用若安全利用可拯救生命。
前进的道路需要协调的跨学科合作:生物安全专家必须将威胁建模嵌入 AI 开发生命周期;研究人员需要能够量化生物武器生成风险的基准套件;政策制定者应制定可执行的规范,在开放性与安全性之间取得平衡。只有弥合这些缺口,AI 驱动的生物武器阴影才会从警示转变为已解决的问题。
图片:Shanjir H | Photo4life AU / Unsplash (https://unsplash.com/@shanjir)
AI safety discourse is shifting from sudden sci-fi apocalypses to the slow, voluntary cession of human control driven by algorithmic efficiency.

A critical look at MIT Technology Review's latest roundup on AI-driven extinction risk and bioweapon threats, exposing the still‑unresolved technical and evaluative challenges.

As AI models grow, the physical materials that power chips and data centers are hitting hard limits, exposing a hidden crisis that could stall progress.

A new Alignment Forum study shows that synthetic document fine‑tuning does not prevent large language models from inheriting reward‑hacking behaviours during reinforcement learning.

评论