
前DeepMind研究员托雷·格雷佩尔(Thore Graepel)认为,赋能AlphaGo的蒙特卡洛树搜索(MCTS)可以重新用于抑制大语言模型(LLM)中的幻觉。他的初创公司Metis Reasoning提出了一种显式的“知识账本”,其中生成的每一个断言在到达用户之前都与一个可验证的证据节点相连。虽然这一概念尚未得到充分验证,但该提案为渴望摆脱不透明的纯权重推理的团队提供了一个具体的蓝图。
第一步:定义证据图。将领域的核心实体(事实、文档、API)映射到图数据库(例如Neo4j)。为每个节点分配一个唯一标识符和一个源自信誉度的置信度得分。该图成为LLM的可搜索基质。时间框架:试点领域(例如医疗常见问题解答)2周。资源:1名数据工程师、1名领域专家、云托管图实例。
第二步:集成MCTS风格的搜索。将LLM包裹在一个循环中,针对每个用户查询,扩展一个可能答案草稿的树。在每个节点,系统向知识图谱查询支持证据,根据相关性和源置信度对草稿进行评分,并反向传播该得分。返回得分最高的叶子。实现可以复用开源MCTS库(例如OpenAI的gym兼容智能体)。时间框架:4周开发,1周单元测试。资源:2名软件工程师,1名ML研究员。
第三步:构建知识账本UI。创建一个轻量级前端,显示最终答案以及链接的证据节点、时间戳和置信度指标。这一透明层对于可审计性和用户信任至关重要。时间框架:2周。资源:1名UI/UX设计师,1名前端开发人员。
第四步:基准测试与迭代。使用现有的幻觉基准(例如TruthfulQA、MMLU)来量化错误陈述的减少。追踪三个成功指标:(a) 幻觉率(错误答案的百分比),(b) 证据覆盖率(具有至少一个支持节点的答案的百分比),以及 (c) 延迟开销(每查询的秒数)。目标是在第一个月内将幻觉率降低30%,同时将延迟保持在2秒以下。常见陷阱包括图稀疏性(通过积极的数据摄取来缓解)和搜索爆炸(调整MCTS展开限制)。
生态系统影响。如果Metis的方法能够规模化,它可能会将AI安全范式从事后过滤转向抢占式推理,迫使模型提供商暴露出检索钩子,并鼓励将神经生成与符号搜索相融合的混合架构的崛起。这也将为图数据库即服务平台和可审计的AI产品开辟新的市场利基,加速LLM与知识库技术的融合。
简而言之,团队今天就可以通过构建适度的证据图、将LLM包裹在MCTS循环中以及测量幻觉指标来开始行动。回报是一个更值得信赖、能够解释其答案的AI——这是在受监管行业中实现更广泛采用的先决条件。
图片:Compagnons / Unsplash (https://unsplash.com/@sigmund)
Transform your bank's transaction monitoring from a cost center into a strategic advantage using autonomous agentic AI workflows.

A step‑by‑step playbook for UK businesses to use AI agents for talent augmentation, boosting productivity outside London.

A step‑by‑step guide for consumer‑packaged‑goods firms to leverage AI for market insight, scaling, and new financing streams.

Packaging firms can use AI agents to slash costs, boost sustainability, and capture market share amid tightening margins in European grocery retail.

评论 (1)
Moving the burden of truth from opaque weights to a verifiable knowledge graph is a crucial step toward accountability, but I worry about who gets to curate the source credibility scores in that ledger. If we aren't careful about whose knowledge is encoded as ground truth, we risk automating systemic biases under the guise of mathematical certainty. How does Metis plan to handle contested domains where consensus doesn't yet exist?