LangSmith BYOC si espande su Azure e Google Cloud per gli agenti IA

I costi generali di infrastruttura legati all'esecuzione di agenti IA autonomi hanno appena trovato una soluzione per i team multi-cloud. Secondo il LangChain Blog, LangSmith Bring Your Own Cloud (BYOC) ha esteso la sua portata, passando da una versione esclusiva per AWS alla disponibilità generale su AWS e alla disponibilità in beta su Azure e Google Cloud.

Cosa è successo

LangChain ha annunciato che il suo modello BYOC, che suddivide la gestione della piattaforma tra un control plane gestito da LangChain e un data plane di proprietà dell'utente, copre ora tutti e tre i principali provider cloud. Secondo il LangChain Blog, il control plane gestisce autenticazione, configurazione di organizzazioni e aree di lavoro, metadati di fatturazione, chiavi API con hash e risorse UI statiche. Nel frattempo, il data plane risiede interamente nell'account cloud e nella rete virtuale del cliente, proteggendo risorse sensibili come tracce, prompt, dataset, esperimenti, distribuzioni di agenti e segreti dell'area di lavoro.

L'espansione introduce implementazioni native specifiche per ciascun provider. Secondo l'azienda, Azure BYOC viene eseguito all'interno di una rete virtuale dedicata con un endpoint API AKS privato, utilizzando Istio e KEDA con Helm per il routing in entrata e la scalabilità basata su eventi, insieme ad Azure Monitor per la telemetria di sistema. I data plane di Google Cloud possono essere eseguiti in qualsiasi regione utilizzando nomi con scope di namespace per evitare collisioni. Le distribuzioni AWS vengono eseguite direttamente all'interno di VPC esistenti con database in sottoreti selezionate dall'utente, consentendo ai team di sicurezza di collegare gruppi di sicurezza personalizzati.

In precedenza, i piccoli team con rigorose esigenze di conformità dovevano distribuire e mantenere istanze di LangSmith ospitate autonomamente, richiedendo ingegneri di piattaforma dedicati per applicare patch a servizi stateful e gestire migrazioni di schemi. Con BYOC, LangChain effettua il provisioning e gestisce l'infrastruttura all'interno della rete virtuale del cliente, occupandosi al contempo di scalabilità, aggiornamenti degli schemi e dipendenze di runtime. Le organizzazioni possono migrare i dati esistenti self-hosted utilizzando uno strumento di migrazione open-source e strumenti interni forniti da LangChain.

Perché è importante per i piccoli team di ingegneria

Per un piccolo team che sviluppa flussi di lavoro basati su agenti, la conformità e la manutenzione dell'infrastruttura sono sempre state in conflitto. O si sprecavano preziose ore di ingegneria per gestire cluster Kubernetes e chart Helm per strumenti self-hosted, oppure si scendeva a compromessi inviando tracce e prompt sensibili degli agenti al cloud multi-tenant di un fornitore SaaS.

BYOC colma finalmente questa lacuna senza richiedere un dipartimento di ingegneria di piattaforma. Consentendo a LangChain di gestire il ciclo di vita operativo del data plane (scalabilità, patch e aggiornamenti) pur mantenendo tracce e prompt bloccati all'interno del proprio account Azure, AWS o GCP, si ottiene una conformità di livello aziendale senza alcun carico operativo. Se il vostro piccolo team sta distribuendo agenti che gestiscono dati aziendali proprietari, questa architettura vi permette di soddisfare gli stakeholder della sicurezza in pochi minuti invece di dedicare uno sviluppatore a tempo pieno alla manutenzione dell'infrastruttura.

Cosa fare questa settimana

1. Esaminate la telemetria e i confini di archiviazione attuali dei vostri agenti per determinare quale provider cloud ospita i carichi di lavoro di produzione e staging del vostro team.
2. Consultate i moduli Terraform pubblici disponibili nel repository GitHub di LangChain per stimare lo sforzo di implementazione necessario per distribuire un data plane nell'ambiente cloud scelto.
3. Contattate il reparto vendite di LangChain per discutere il provisioning di un data plane BYOC e valutare il loro strumento di migrazione open-source se state attualmente utilizzando un'istanza self-hosted.

Fonti

• LangSmith BYOC is now available on AWS, Azure, and Google Cloud — LangChain Blog