Anthropic 的 Fable 5.2 在行业基准测试中完成 41% 的真实自由职业任务

根据 The Decoder 报道的基准测试结果，Anthropic 的 Fable 5.2 模型现在能够以专业标准完成 41.3% 的真实自由职业任务。这标志着与一年前相比取得了巨大飞跃，当时表现最佳的 AI 代理仅完成了 2.5% 的真实世界自由职业项目。该基准测试根据实际的 Upwork 合同评估模型，这些合同要求在设计、音频和 3D 建模软件中进行多步骤工作流程。

发生了什么

The Decoder 报道称，Scale Labs 和人工智能安全中心 (CAIS) 发布了其远程劳务指数 (RLI) 的最新结果，该指数通过 358 名经过验证的专业人士完成的 240 个真实 Upwork 项目来测试 AI 模型。这些工作总价值约 144,000 美元，平均每个项目 632.60 美元，大约需要 29 小时的人工劳动，涵盖 CAD 设计、视频编辑、游戏开发和数据分析等任务。代理在预装了 Blender、GIMP 和 Audacity 等专业软件以及专用 AI 生成工具的虚拟环境中运行。

Anthropic 的 Fable 5.2 实现了 41.3% 的完成率，将竞争模型远远甩在后面。根据 The Decoder 的说法，Anthropic 的 Opus 5.5 以 21.25% 位居第二，紧随其后的是 OpenAI 的 GPT 6 Astra (20.83%) 和 Google 的 Gemini Argon 4 (17.08%)。像 GPT-5.2 和 Gemini 3 Pro 这样的旧模型完成的任务不到 3%。Scale Labs 在 X 上指出，Fable 5.2 在音频和音乐编辑、建筑和室内设计以及 3D 建模方面取得了最大进展，成功完成了近 50 种以前没有任何 AI 代理通过的项目类型。

然而，该基准测试也突显了显著的局限性。Scale Labs 指出，Fable 5.2 在动画和工业产品设计方面仍然表现不佳。当 AI 代理在测试中失败时，CAIS 研究人员发现它们会交付业余水平的工作、不完整的结果、损坏的文件或相互矛盾的设计。此外，尝试使用 AI 评审员自动化评估过程的尝试也失败了，因为评估模型很容易被表面上的视觉美观所迷惑，尽管存在潜在的技术缺陷。

为什么这对小型企业运营很重要

如果您为一家小型公司管理运营或雇用创意自由职业者，这次分数飞跃表明 AI 代理正在从简单的文本补全转向处理功能性、多步骤的资产创建。在平均 29 小时人工劳动的复杂任务上取得 41% 的成功率意味着代理可以实际协助进行初步草稿工作、基本 3D 建模或常规音频清理。

然而，您现在还不应该解雇您的自由职业承包商。58.7% 的失败率证明代理仍然经常生成无法使用的文件、不完整的交付物和业余设计。此外，由于 CAIS 证明自动化 AI 评分员无法发现隐藏在漂亮表面下的技术缺陷，因此在任何东西投入生产之前，熟练的人类专家仍然需要在实际软件中检查每一个交付物。对于小型团队来说，实用的策略是利用代理进行粗略起草和模块化任务准备，同时让经验丰富的专业人员负责审查和组装。

本周要做什么

1. 审计您公司的创意和技术外包积压任务，标记出涉及 3D 建模、音频编辑或基本空间设计且耗时少于 30 小时的重复性任务。
2. 建立强制性人工审查协议，要求人类技术负责人在签署批准之前，在原生软件中检查所有 AI 辅助的交付物。
3. 使用 Fable 5.2 等高性能模型驱动的代理工具，对一个存档的自由职业任务进行测试，以将其初步输出与您原始自由职业者的工作进行基准比较。

来源

• Anthropic's Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago — The Decoder