LangSmith BYOC weitet sich für Agenten-Teams auf Azure und Google Cloud aus

Die Infrastrukturlandschaft für die Bereitstellung von Agenten hat sich diese Woche verändert, als LangChain laut dem LangChain Blog ankündigte, dass seine LangSmith Bring Your Own Cloud (BYOC)-Architektur nun allgemein auf AWS und in der Beta-Phase auf Azure und Google Cloud verfügbar ist.

Was passiert ist

Dem LangChain Blog zufolge unterteilt LangSmith BYOC die Infrastruktur in zwei unterschiedliche Komponenten: eine von LangChain verwaltete Steuerungsebene (Control Plane) und eine dem Unternehmen gehörende Datenebene (Data Plane). Die Steuerungsebene übernimmt die Authentifizierung, die Konfiguration von Organisationen und Arbeitsbereichen, Abrechnungsmetadaten, gehashte API-Schlüssel und statische UI-Assets. In der Zwischenzeit behält die Datenebene – die sich über mehrere Konten und Regionen erstrecken kann – alle sensiblen Assets, einschließlich Traces, Prompts, Datensätzen, Experimenten, Agenten-Bereitstellungen und Arbeitsbereichsgeheimnissen.

Die Expansion bringt spezifische Cloud-native Integrationen für jeden Anbieter mit sich. Auf Azure läuft die Datenebene innerhalb eines dedizierten virtuellen Netzwerks mit einem privaten AKS-API-Endpunkt, wobei Istio und KEDA mit Helm für Ingress-Routing und ereignisgesteuertes Skalieren genutzt werden und die Systemtelemetrie an Azure Monitor geleitet wird. Auf Google Cloud können Datenebenen in jeder Region ausgeführt werden, während sie von der US-Steuerungsebene von LangSmith aus verwaltet werden, wobei namensraum-skizzierte Namen verwendet werden, um Infrastrukturkollisionen zu verhindern. Auf AWS arbeitet die Datenebene innerhalb einer bestehenden VPC, wodurch Sicherheitsteams benutzerdefinierte Sicherheitsgruppen für die Ingress- und Egress-Inspektion anhängen können.

Zuvor mussten Unternehmen mit strengen Compliance-Anforderungen selbst gehostete LangSmith-Instanzen bereitstellen und warten, was dedizierte Plattform-Ingenieure erforderte, um zustandsbehaftete Dienste zu patchen, Datenbanken zu konfigurieren und Schema-Migrationen zu verwalten. Mit BYOC stellt LangChain die Anwendung im virtuellen Netzwerk des Unternehmens bereit und betreibt sie, während Skalierung, Schema-Updates und Laufzeitabhängigkeiten gehandhabt werden. Unternehmen können mithilfe eines Open-Source-Migrationstools für Arbeitsbereichsressourcen von selbst gehosteten Umgebungen migrieren, ergänzt durch interne LangChain-Tools für Trace-Migrationen.

Warum das für kleine KI-Engineering-Teams wichtig ist

Für Teamleiter und Gründer kleiner Teams, die Agentenanwendungen in Produktion betreiben, ist die Infrastrukturwartung eine ständige Belastung für die Entwicklungsgeschwindigkeit. Bis jetzt bedeutete die Wahl einer strengen Datensouveränität einen hohen operativen Aufwand: Engineering-Stunden, die für den Umgang mit Helm-Charts, die Verwaltung von Datenbankmigrationen und das Patches von zustandsbehafteten Diensten aufgewendet wurden. BYOC löst dies, indem es die Last aufteilt. Sie bewahren sensible Agenten-Telemetrie, Prompts und Evaluierungsdatensätze sicher innerhalb Ihres eigenen Cloud-Perimeters auf, wodurch Unternehmens-Compliance-Anforderungen erfüllt werden, ohne dass ein dediziertes Plattform-Engineering-Team erforderlich ist, um den Betrieb aufrechtzuerhalten.

Diese Architektur ermöglicht auch Multi-Cloud-Flexibilität für wachsende Unternehmen. Wenn Ihr Kernprodukt-Stack auf AWS läuft, während ein Unternehmenskunden Azure für seine isolierte Geschäftseinheit vorschreibt, kann Ihr Plattform-Team separate Datenebenen bereitstellen, die auf das Sicherheitsmodell jeder Cloud zugeschnitten sind, während gleichzeitig eine einheitliche Arbeitsbereichsstrategie beibehalten wird. Durch das Abstrahieren der Laufzeitabhängigkeiten und Skalierungsmechanismen ermöglicht dieses Modell kleineren Teams, über ihre Gewichtsklasse hinauszuwachsen und Unternehmens-KI-Agenten-Infrastruktur mit minimalem Overhead bereitzustellen.

Was Sie diese Woche tun sollten

1. Überprüfen Sie Ihre aktuelle Agenten-Infrastruktur und die Anforderungen an die Datenresidenz, um festzustellen, ob Ihre sensiblen Traces und Evaluierungsdatensätze im virtuellen Netzwerk eines bestimmten Cloud-Anbieters verbleiben müssen.
2. Sehen Sie sich die öffentlichen Terraform-Module und die Architekturdokumentation an, die von LangChain auf GitHub bereitgestellt werden, um die Implementierungskomplexität für die primäre Cloud-Umgebung Ihres Teams (AWS, Azure oder Google Cloud) zu bewerten.
3. Kontaktieren Sie den Vertrieb von LangChain, wenn Ihr aktuelles selbst gehostetes Setup Ihre Engineering-Ressourcen beansprucht und Sie bereit sind, eine migrationsfreie Migration (Zero-Downtime) zum BYOC-Modell zu planen.

Quellen

• LangSmith BYOC is now available on AWS, Azure, and Google Cloud — LangChain Blog