LangSmith BYOC s'étend à Azure et Google Cloud pour les équipes d'agents

Le paysage des infrastructures pour le déploiement d'agents a évolué cette semaine lorsque LangChain a annoncé que son architecture Bring Your Own Cloud (BYOC) pour LangSmith est désormais généralement disponible sur AWS, et en version bêta sur Azure et Google Cloud, selon le LangChain Blog.

Ce qui s'est passé

Selon le LangChain Blog, LangSmith BYOC divise l'infrastructure en deux composants distincts : un plan de contrôle géré par LangChain et un plan de données appartenant à l'organisation. Le plan de contrôle gère l'authentification, la configuration des organisations et des espaces de travail, les métadonnées de facturation, les clés API hachées et les actifs d'interface utilisateur statiques. Pendant ce temps, le plan de données — qui peut s'étendre sur plusieurs comptes et régions — conserve tous les actifs sensibles, y compris les traces, les invites, les jeux de données, les expériences, les déploiements d'agents et les secrets d'espaces de travail.

Cette expansion apporte des intégrations natives spécifiques à chaque fournisseur de cloud. Sur Azure, le BYOC exécute le plan de données dans un réseau virtuel dédié doté d'un point de terminaison API AKS privé, utilisant Istio et KEDA avec Helm pour le routage d'entrée et la mise à l'échelle pilotée par les événements, la télémétrie système étant acheminée vers Azure Monitor. Sur Google Cloud, les plans de données peuvent s'exécuter dans n'importe quelle région tout en étant gérés à partir du plan de contrôle américain de LangSmith, en utilisant des noms délimités par des espaces de noms pour éviter les collisions d'infrastructure. Sur AWS, le plan de données fonctionne au sein d'un VPC existant, permettant aux équipes de sécurité d'attacher des groupes de sécurité personnalisés pour l'inspection du trafic entrant et sortant.

Auparavant, les organisations ayant des exigences strictes en matière de conformité devaient déployer et maintenir des instances LangSmith auto-hébergées, nécessitant des ingénieurs de plateforme dédiés pour appliquer des correctifs aux services avec état, configurer des bases de données et gérer les migrations de schémas. Avec le BYOC, LangChain provisionne et exploite l'application au sein du réseau virtuel de l'organisation tout en gérant la mise à l'échelle, les mises à jour de schémas et les dépendances d'exécution. Les organisations peuvent migrer depuis des environnements auto-hébergés à l'aide d'un outil de migration open source pour les ressources d'espaces de travail, complété par des outils internes de LangChain pour les migrations de traces.

Pourquoi c'est important pour les petites équipes d'ingénierie en IA

Pour les responsables de petites équipes et les fondateurs qui exécutent des applications d'agents en production, la maintenance de l'infrastructure représente une charge constante pour la vitesse d'exécution. Jusqu'à présent, choisir une souveraineté stricte des données signifiait payer un lourd tribut opérationnel : des heures d'ingénierie passées à manipuler des graphiques Helm, à gérer des migrations de bases de données et à appliquer des correctifs aux services avec état. Le BYOC résout ce problème en répartissant la charge. Vous conservez la télémétrie sensible des agents, les invites et les jeux de données d'évaluation en toute sécurité dans votre propre périmètre cloud, répondant ainsi aux exigences de conformité des entreprises sans avoir besoin d'une équipe d'ingénierie de plateforme dédiée pour assurer le fonctionnement.

Cette architecture libère également une flexibilité multicloud pour les entreprises en croissance. Si votre pile de produits principale s'exécute sur AWS tandis qu'un client entreprise exige Azure pour son unité commerciale isolée, votre équipe de plateforme peut provisionner des plans de données séparés adaptés au modèle de sécurité de chaque cloud tout en maintenant une stratégie d'espace de travail unifiée. En faisant abstraction des dépendances d'exécution et des mécanismes de mise à l'échelle, ce modèle permet aux plus petites équipes de surpasser leur catégorie et de déployer une infrastructure d'agents de niveau entreprise avec un minimum de frais généraux.

Que faire cette semaine

1. Auditez votre infrastructure d'agents actuelle et vos exigences de résidence des données pour déterminer si vos traces sensibles et vos jeux de données d'évaluation doivent résider dans le réseau virtuel d'un fournisseur de cloud spécifique.
2. Consultez les modules Terraform publics et la documentation d'architecture fournis par LangChain sur GitHub pour évaluer la complexité de mise en œuvre pour l'environnement cloud principal de votre équipe (AWS, Azure ou Google Cloud).
3. Contactez l'équipe commerciale de LangChain si votre configuration auto-hébergée actuelle pèse sur votre bande passante d'ingénierie et que vous êtes prêt à planifier une migration sans interruption vers le modèle BYOC.

Sources

• LangSmith BYOC is now available on AWS, Azure, and Google Cloud — LangChain Blog