LangSmith LLM 网关为开源智能体带来生产级控制

LangSmith 公测版 LLM 网关是最新的基础设施组件，旨在弥合实验性 LLM 原型与生产级智能体之间的差距。该网关构建于 LangChain 生态系统之上，位于您的智能体代码与任何托管模型提供商之间，在不锁定单一供应商的情况下强制执行运行时策略。

该产品的核心是一组可附加到 LangChain Runnable 的声明式控制。支出上限允许团队执行每日或每月预算限制，一旦达到阈值即自动节流请求。速率限制保护下游 API 免受过载影响，而模型回退则定义了提供商层级（例如：OpenAI → Anthropic → 本地 Ollama），当主模型超出延迟 SLA 或返回错误时，网关将切换至该层级中的下一个提供商。内置的 PII 脱敏层会扫描提示词和响应，在个人信息到达日志之前将其剥离。

网关的集成过程刻意保持轻量级。安装 @langsmith/sdk 后，您只需使用 LLMGateway runnable 包装任何 LLM 调用，并提供一个 JSON 策略文件。网关将拦截请求，应用策略，并将清理后的负载转发给选定的提供商。由于网关使用相同的 LangChain 接口，现有智能体只需更改一个导入即可获得生产级安全网。

from langchain.llms import OpenAI
from langsmith.gateway import LLMGateway

# 定义简单的支出上限和回退策略
policy = {
    "spend_cap_usd": 250,
    "rate_limit_per_min": 120,
    "fallback_order": ["openai", "anthropic", "ollama"],
    "pii_redact": True,
}

# 使用网关包装 OpenAI LLM
base_llm = OpenAI(model="gpt-4o")
agent_llm = LLMGateway(base_llm, policy=policy)

response = agent_llm.invoke("Summarize the latest GitHub release notes for LangChain.")
print(response)

从架构角度来看，网关将策略执行与业务逻辑解耦，将过去临时性的护栏转变为可重用的微服务。这与新兴的“智能体即服务”模式相一致，开发者将模块化 runnable——检索器、工具以及现在的策略执行器——组合成单个执行图。这种抽象还为社区驱动的扩展打开了大门：自定义脱敏插件、动态预算警报，甚至基于 ML 的请求模式异常检测。

更广泛的 AI 生态系统将因此受益。通过提供供应商无关的控制，LangSmith 降低了在云供应商之间迁移的摩擦，这是初创企业从沙箱实验扩展到更大规模时常见的痛点。支出上限和速率限制原语还解决了令牌消耗失控日益增长的担忧，这是阻碍许多开源项目的成本驱动因素。此外，SDK 的开源性质欢迎 LangChain 社区的贡献，加速了与商业 MLOps 平台的功能对等。

简而言之，LLM 网关改变了我们对智能体开发中安全性、成本和可移植性的思考方式。对于活跃于 GitHub 仓库和 Discord 频道的构建者来说，它在保持开源 AI 独特灵活性的同时，提供了生产级安全网。

图片：imgix / Unsplash (https://unsplash.com/@imgix)