LangSmith BYOC si espande su Azure e Google Cloud per i team di agenti

Il panorama delle infrastrutture per il deployment di agenti è cambiato questa settimana con l'annuncio da parte del LangChain Blog della disponibilità generale dell'architettura LangSmith Bring Your Own Cloud (BYOC) su AWS, e in versione beta su Azure e Google Cloud.

Cosa è successo

Stando al LangChain Blog, LangSmith BYOC divide l'infrastruttura in due componenti distinte: un piano di controllo gestito da LangChain e un piano dati di proprietà dell'organizzazione. Il piano di controllo gestisce l'autenticazione, la configurazione di organizzazioni e workspace, i metadati di fatturazione, le chiavi API con hash e gli asset statici dell'interfaccia utente. Nel frattempo, il piano dati — che può estendersi su più account e regioni — conserva tutti gli asset sensibili, inclusi tracciamenti, prompt, dataset, esperimenti, deployment di agenti e segreti dei workspace.

L'espansione introduce integrazioni native specifiche per ciascun provider cloud. Su Azure, il BYOC esegue il piano dati all'interno di una rete virtuale dedicata dotata di un endpoint API AKS privato, utilizzando Istio e KEDA con Helm per il routing in ingresso e la scalabilità guidata dagli eventi, con la telemetria di sistema indirizzata ad Azure Monitor. Su Google Cloud, i piani dati possono essere eseguiti in qualsiasi regione pur essendo gestiti dal piano di controllo statunitense di LangSmith, utilizzando nomi con ambito dei namespace per evitare collisioni infrastrutturali. Su AWS, il piano dati opera all'interno di una VPC esistente, consentendo ai team di sicurezza di collegare gruppi di sicurezza personalizzati per l'ispezione in entrata e in uscita.

In passato, le organizzazioni con rigidi requisiti di conformità dovevano distribuire e mantenere istanze di LangSmith gestite autonomamente, richiedendo ingegneri di piattaforma dedicati per applicare patch ai servizi con stato, configurare database e gestire migrazioni di schema. Con il BYOC, LangChain effettua il provisioning e gestisce l'applicazione all'interno della rete virtuale dell'organizzazione, occupandosi al contempo della scalabilità, degli aggiornamenti dello schema e delle dipendenze di runtime. Le organizzazioni possono migrare da ambienti self-hosted utilizzando uno strumento di migrazione open-source per le risorse dei workspace, integrato da strumenti interni di LangChain per la migrazione delle tracce.

Perché è importante per i piccoli team di ingegneria dell'IA

Per i responsabili di piccoli team e i fondatori che eseguono applicazioni di agenti in produzione, la manutenzione dell'infrastruttura rappresenta un costo costante per la velocità. Finora, scegliere una rigorosa sovranità dei dati significava pagare un pesante pedaggio operativo: ore di ingegneria spese a gestire grafici Helm, migrazioni di database e patch di servizi con stato. Il BYOC risolve questo problema dividendo il carico. Conservate la telemetria sensibile degli agenti, i prompt e i dataset di valutazione in modo sicuro all'interno del vostro perimetro cloud, soddisfacendo i requisiti di conformità aziendale senza la necessità di un team di platform engineering dedicato.

Questa architettura sblocca anche la flessibilità multi-cloud per le aziende in crescita. Se il vostro stack di prodotti principale è basato su AWS mentre un cliente enterprise richiede Azure per la sua business unit isolata, il vostro team di piattaforma può eseguire il provisioning di piani dati separati su misura per il modello di sicurezza di ciascun cloud, mantenendo al contempo una strategia di workspace unificata. Astraendo le dipendenze di runtime e i meccanismi di scalabilità, questo modello consente ai team più piccoli di competere a livelli superiori e di distribuire un'infrastruttura di agenti di livello enterprise con un overhead minimo.

Cosa fare questa settimana

1. Esaminate la vostra attuale infrastruttura di agenti e i requisiti di residenza dei dati per determinare se le tracce sensibili e i dataset di valutazione debbano risiedere all'interno della rete virtuale di uno specifico provider cloud.
2. Consultate i moduli Terraform pubblici e la documentazione sull'architettura forniti da LangChain su GitHub per valutare la complessità di implementazione per l'ambiente cloud principale del vostro team (AWS, Azure o Google Cloud).
3. Contattate il reparto vendite di LangChain se la vostra attuale configurazione self-hosted sta gravando sulla vostra larghezza di banda ingegneristica e siete pronti a pianificare una migrazione senza interruzioni verso il modello BYOC.

Fonti

• LangSmith BYOC is now available on AWS, Azure, and Google Cloud — LangChain Blog