LangSmith BYOC rozszerza się na Azure i Google Cloud dla zespołów agentów

Krajobraz infrastruktury dla wdrażania agentów uległ zmianie, gdy LangChain ogłosił, że jego architektura LangSmith Bring Your Own Cloud (BYOC) jest teraz ogólnie dostępna na AWS oraz w wersji beta na Azure i Google Cloud, jak podaje LangChain Blog.

Co się stało

Według LangChain Blog, LangSmith BYOC dzieli infrastrukturę na dwa odrębne komponenty: płaszczyznę sterowania zarządzaną przez LangChain oraz płaszczyznę danych należącą do organizacji. Płaszczyznę sterowania obsługuje uwierzytelnianie, konfigurację organizacji i obszarów roboczych, metadane rozliczeniowe, zahashowane klucze API oraz statyczne zasoby interfejsu. Tymczasem płaszczyzna danych – która może obejmować wiele kont i regionów – przechowuje wszystkie wrażliwe zasoby, w tym ślady (traces), prompty, zestawy danych, eksperymenty, wdrożenia agentów i sekrety obszarów roboczych.

To rozszerzenie wprowadza specyficzne integracje chmurowe dla każdego dostawcy. Na Azure BYOC uruchamia płaszczyznę danych w dedykowanej sieci wirtualnej z prywatnym punktem końcowym API AKS, wykorzystując Istio i KEDA z Helm do routingu wejściowego i skalowania opartego na zdarzeniach, a telemetria systemu jest kierowana do Azure Monitor. W Google Cloud płaszczyzny danych mogą działać w dowolnym regionie, będąc zarządzanymi z płaszczyzny sterowania LangSmith w USA, przy użyciu nazw w zakresie przestrzeni nazw, aby zapobiec kolizjom infrastruktury. W AWS płaszczyzna danych działa w ramach istniejącej sieci VPC, co pozwala zespołom ds. bezpieczeństwa dołączać niestandardowe grupy zabezpieczeń do inspekcji ruchu wejściowego i wyjściowego.

Wcześniej organizacje o surowych wymogach zgodności musiały wdrażać i utrzymywać samodzielnie hostowane instancje LangSmith, co wymagało dedykowanych inżynierów platformy do łatania stanowych usług, konfigurowania baz danych i zarządzania migracjami schematów. Dzięki BYOC, LangChain udostępnia i obsługuje aplikację wewnątrz wirtualnej sieci organizacji, zajmując się jednocześnie skalowaniem, aktualizacjami schematów i zależnościami uruchomieniowymi. Organizacje mogą migrować ze środowisk hostowanych samodzielnie za pomocą otwartoźródłowego narzędzia migracyjnego dla zasobów obszaru roboczego, uzupełnionego wewnętrznymi narzędziami LangChain do migracji śladów.

Dlaczego to ma znaczenie dla małych zespołów inżynierii AI

Dla liderów małych zespołów i założycieli uruchamiających aplikacje agentowe na produkcji, utrzymanie infrastruktury jest stałym obciążeniem dla tempa pracy. Do tej pory wybór ścisłej suwerenności danych oznaczał ponoszenie wysokich kosztów operacyjnych: godziny pracy inżynierów poświęcone na radzenie sobie z wykresami Helm, zarządzanie migracjami baz danych i łatanie usług stanowych. BYOC rozwiązywuje ten problem, dzieląc obciążenie. Przechowujesz poufną telemetrię agentów, prompty i zestawy danych ewaluacyjnych bezpiecznie wewnątrz własnego obrysu chmury, spełniając wymogi zgodności przedsiębiorstwa bez potrzeby posiadania dedykowanego zespołu inżynierów platformy.

Ta architektura odblokowuje również elastyczność wielochmurową dla rozwijających się firm. Jeśli Twój główny stos produktów działa na AWS, podczas gdy klient korporacyjny wymaga Azure dla swojej odizolowanej jednostki biznesowej, Twój zespół platformy może udostępnić oddzielne płaszczyzny danych dostosowane do modelu bezpieczeństwa każdej chmury, zachowując jednocześnie zunifikowaną strategię obszarów roboczych. Abstrahując od zależności uruchomieniowych i mechanik skalowania, model ten pozwala mniejszym zespołom działać ponad swoją kategorię wagową i wdrażać infrastrukturę agentów klasy korporacyjnej przy minimalnym narzucie.

Co zrobić w tym tygodniu

1. Przeprowadź audyt obecnej infrastruktury agentów i wymagań dotyczących rezydencji danych, aby ustalić, czy Twoje poufne ślady i zestawy danych ewaluacyjnych muszą znajdować się w wirtualnej sieci konkretnego dostawcy chmury.
2. Zapoznaj się z publicznymi modułami Terraform i dokumentacją architektury dostarczoną przez LangChain na GitHubie, aby ocenić złożoność wdrożenia dla głównego środowiska chmurowego Twojego zespołu (AWS, Azure lub Google Cloud).
3. Skontaktuj się z działem sprzedaży LangChain, jeśli obecna konfiguracja hostowana samodzielnie obciąża przepustowość inżynierską i jesteś gotów zaplanować migrację do modelu BYOC bez przestojów.

Źródła

• LangSmith BYOC is now available on AWS, Azure, and Google Cloud — LangChain Blog