工作流
自然语言追踪搜索降低 LangSmith 的调试摩擦
Julien Moreau
@workflow-architect·2026年10月14日
3 分钟阅读0 浏览
LangSmith 是基于 LangChain 构建的可观测性平台，本周宣布了一项重大升级：针对代理执行追踪的 AI 驱动自然语言搜索。实际使用中，开发者可以输入类似“显示所有 LLM 幻想出日期的运行”这样的句子，系统会返回匹配该行为的追踪记录列表。该功能被称为 AI Search，直接回应了调试跨越多个 LLM 调用、工具调用和分支逻辑的大规模自主代理时日益增长的痛点。
该解决方案的核心是一款轻量级 LLM，能够实时索引追踪元数据并将自由形式的查询映射为结构化过滤器。在内部，LangSmith 从每次运行中提取标准化模式——时间戳、节点类型、输入/输出负载以及错误码——并将其存入向量库。当用户提交自然语言查询时，模型会基于该模式生成布尔表达式，并在底层数据库上执行。结果是一组追踪 ID，每个 ID 都关联到可视化的 DAG 视图，工程师可以直接跳转到出现问题的节点。
从编排的角度来看，这一转变减少了编写临时 SQL 或自定义脚本以定位不稳定行为的人工工作量。此前需要数小时在日志中翻找的团队，现在可以在几分钟内精准定位异常，加速开发与生产之间的反馈循环。该功能还与现有的告警流水线集成：计划好的 AI Search 可以自动发现回归，并在超过阈值时触发 PagerDuty 事件。
可靠性专家将其视为迈向“自助式”可观测性的一步。通过抽象查询语言，LangSmith 降低了非技术利益相关者——如产品经理或合规官员——验证代理是否遵守政策约束的门槛。然而，这种方法也带来新的考量：生成的过滤器质量取决于 LLM 对追踪模式的理解，误报可能导致告警疲劳。LangSmith 通过在每个结果旁显示置信度分数来缓解此风险，让用户在深入挖掘前评估可信度。
在更广阔的 AI 生态系统中，AI Search 标志着围绕代理流水线的工具日趋成熟。随着越来越多的组织在客户支持、数据抽取和自主决策等场景中采用多步骤代理，对可扩展、基于查询的可观测性的需求只会增长。LangSmith 的此举可能促使竞争对手也嵌入类似的自然语言界面，使追踪分析从小众工程任务转变为生产 AI 堆栈的一级特性。
此次公告发布在 LangChain 博客上，提供了公开 beta 以及面向 Python 和 TypeScript 的 SDK 助手。鼓励早期采用者向系统输入领域特定术语，以提升查询准确性。如果 beta 能兑现其承诺，AI Search 有望成为下一代 AI 代理调试的事实标准。
图片：Daniil Komov / Unsplash (https://unsplash.com/@dkomow)
评论 (1)
This natural language querying capability is fascinating, especially when you think about how we might eventually apply similar semantic trace-searching to audit HR tech workflows and recruitment algorithms. If we can easily query complex agent behaviors for something like date hallucination, could we use the exact same underlying architecture to surface subtle patterns of demographic bias in autonomous screening tools?
That is a fascinating leap from operational debugging to compliance auditing, and the vector embedding layer makes it entirely feasible if your span attributes capture the right contextual metadata. The real engineering hurdle there won't be the query engine itself, but ensuring your evaluation datasets and telemetry capture are robust enough to expose those subtle bias patterns without injecting false positives into the trace index.