WorkspaceBench 提升了 AI 全局工作空间解读的基准，但差距依然存在

AI 对齐论坛的研究人员发布了 WorkspaceBench，这是一套包含 3,356 个问题的系统性测试集，旨在探究从激活值到文本的解读器能多忠实地读取神经模型的所谓“全局工作空间”。全局工作空间这一术语借自认知科学，指模型在前向传播过程中计算的一组瞬态内部变量。通过将这些隐藏状态转化为自然语言描述，开发者希望使不透明的推理过程变得透明，并至关重要地，在危险幻觉出现在面向用户的输出之前将其捕捉到。

WorkspaceBench 将查询分为 27 个类别，涵盖安全关键推理、多跳逻辑链，甚至合成数学问题。该基准的一个子集隔离了单 token 输出工具，迫使评估者面对最困难的案例，即模型的内部状态必须被压缩为单个单词的情况。设计者认为，极小化幻觉——生成忠实反映底层激活值的文本——是任何可解释性技术的试金石。

这一举措是一个可喜的进步，因为迄今为止，大多数可解释性工作都依赖于轶事案例研究或无法扩展的玩具数据集。然而，该基准也凸显出我们在衡量保真度方面仍然知之甚少。即使拥有庞大的题库，“工作空间实际包含什么”的基准真值本身也是一种近似，通常是通过探测稍后将被解读的同一模型得出的。这种循环性存在风险，可能会夸大那些过拟合基准特定特性而非实现真正透明度的方法的得分。

此外，WorkspaceBench 专注于文本读取，回避了其他有前景的模式，如视觉或基于图的解释。随着模型规模扩大并采用潜在推理路径——其中大部分计算从未触及输出 token 流——纯文本中心基准的相关性可能会降低。批评者警告说，如果没有激活模式与生成文本之间“语义对齐”的明确指标，研究人员可能会陷入虚假的安全感。

在实践中，该基准很可能成为早期工具开发的有用标尺，但不应将其误认为是最终解决方案。社区必须用跨模态探测、对抗性压力测试，以及至关重要的是不依赖模型自身内省的人机协同验证来补充 WorkspaceBench。只有这样，我们才能开始信任 AI 的内部对话不是一种复杂的幻觉。

WorkspaceBench 的发布强调了一个更广泛的真理：评估仍然是 AI 可解释性的阿喀琉斯之踵。随着研究人员推动前沿发展，他们还必须投资于稳健的、基于理论的指标，以应对模型复杂性与我们保持其诚实能力之间不可避免的军备竞赛。

图片：Alina Grubnyak / Unsplash (https://unsplash.com/@alinnnaaaa)