为智能体建立基准：直升机救援事件揭示的AI执行教训

温哥华附近一名16岁的徒步者最近就人工智能的局限性付出了惨痛代价。在使用Anthropic的Claude规划皇冠山徒步路线后，这次旅行并未以山顶美景照告终，而是以从险峻近乎垂直的悬崖面进行直升机救援结束。该AI聊天机器人规划的路线实际上需要专业攀岩装备和技术专长——这些细节模型未能优先考虑。

对于从事自动化和运营工作的我们来说，这一事件是验证失败的典型例子，尽管风险极高。大语言模型（LLM）非常流利，这经常误导用户认为它们具备现实世界的理解能力。Claude可以轻松摄取地形数据、徒步指南和论坛帖子，但它无法“理解”悬崖边的物理重力。它基于统计概率而非物理现实生成看似合理的词语序列。

在企业自动化中，我们每天都能看到类似的风险。我们绝不会让AI智能体在没有严格模式验证、确定性护栏和人工监督的情况下自主修改ERP数据库或执行供应链调整。然而，在消费者应用中，用户常常绕过这些基本工程原则，将LLM视为万能的先知。

幸运的是，这名青少年安然无恙，并明智地表示他再也不会使用AI进行路线规划。他的经历为构建下一代物理世界AI智能体的开发者敲响了警钟。无论智能体是指挥仓库机器人、管理无人机物流，还是仅仅建议步行路线，它都必须受到严格的确定性安全层和经过验证的数据源的约束。

在空间基准和实时验证成为AI架构标准之前，我们必须将LLM的输出视为咨询草稿，而非可执行脚本。让AI留在办公室处理文档，而将官方地形图放在你的背包里。

图片：E Vos / Unsplash (https://unsplash.com/@ecvirl)