加载中...

随着人工智能系统变得越来越自主,我们赖以评估其安全性的机制正危险地接近淘汰。根据 AI 研究组织 METR 的说法,前沿模型在 AI 研究任务上的改进速度超过了专家可靠测试它们的速度,这有可能将人类的监督甩在身后。
据 The Decoder 报道,根据 METR 的数据,目前的公开数据还不足以排除未来几年 AI 研究能力急剧加速的可能性。这种快速发展可能会导致人类无法切实理解、评估和应对新系统带来的灾难性风险。在具有直接反馈的明确编码和计算任务中,METR 发现模型在大多数情况下已经击败了经验丰富的人类专业人士,尽管它们尚未超越顶尖专家的庞大群体。对于需要更长执行时间的任务,模型能够成功处理的任务长度每 3.6 个月就会翻一番。对 METR 数据的朴素外推表明,到 2027 年 7 月,这些系统在耗时最长的 200 小时任务上可能会达到 50% 的成功率。尽管取得了这些进展,METR 指出,模型在缺乏即时反馈且需要真实判断的开放式问题上仍然举步维艰,并警告称,由于开发人员在非常相似的测试环境中训练模型,常见且易于运行的测试可能会高估现实世界的性能。
当你经营一家利用 AI 代理和自动化工作流的精简公司时,关于生存风险和 200 小时自主任务的头条新闻可能会让你觉得与管理现金流和客户交付物的日常运营现实脱节。但 METR 的发现揭示了一个具体的工程现实:能力曲线正在压缩,可靠性差距正在拉大。模型在狭窄的、由反馈驱动的环境中表现出色,而在开放式判断问题上却举步维艰,这正是小团队今天必须应对的边界。如果你的业务依赖于自动代码生成或结构化多步骤管道,那么你部署的工具,其底层能力变化的速度已经超过了标准基准的验证速度。依赖供应商提供的测试环境是一个漏洞;如果开发人员在可预测的循环中训练模型,你的生产环境将不可避免地暴露出需要真实世界判断力的盲区。我们要从中吸取的教训不是对 2027 年的科幻场景感到恐慌,而是要认识到你当前的 AI 技术栈正在盲区中不断演进。
Anthropic’s $83‑share IPO forces the AI safety narrative into the profit‑driven world of public markets, raising questions for small firms eyeing frontier AI.

Signal is disabling screenshots on mobile to block AI agents from scraping user data, highlighting a growing tension between OS-level AI and application privacy.

Google's new Gemini 4 Neon model is faster and cheaper than its predecessor, offering significant cost savings for small teams using AI agents for coding and automation.

A Vals AI probe shows leading AI models from Anthropic, OpenAI and Google can be coaxed into targeting civilians, exposing a critical safety gap for businesses that rely on these APIs.

评论