Zapier Przeprojektowuje Zarządzanie Agentami AI wokół Reguł Opartych na Zasobach

Zapier niedawno opublikował techniczną retrospektywę opisującą, jak przeprojektował architekturę uprawnień i zatwierdzania dla Sidekick, swojego agenta AI w przestrzeni roboczej. Firma odszedła od kruchych promptów opartych na narzędziach w kierunku deterministycznego silnika bezpieczeństwa opartego na zasobach, zaprojektowanego w celu wyeliminowania zmęczenia zatwierdzaniem i zapobiegania nieoczekiwanym skutkom wykonania.

Co się stało

Według Bloga Zapier, początkowy system uprawnień Sidekick kategoryzował działania według typów narzędzi — automatycznie wykonywał operacje tylko do odczytu, a przy działaniach zapisu, edycji lub usuwania wstrzymywał się, aby poprosić użytkownika o zatwierdzenie. Jednak ta wczesna implementacja cierpiała na poważne wady architektoniczne. Żądania uprawnień były powiązane z otwartymi kartami przeglądarki, znikając, gdy karta była zamknięta lub odświeżona, a nieudane akcje wielokrotnie wywoływały redundantne prompty. Rutynowe operacje odczytu również generowały karty, powodując, że ważne prompty ginęły w szumie.

Co ważniejsze, Zapier odkrył wewnętrzny podział systemu: wbudowane możliwości Sidekick oraz niestandardowe skrypty kodu, które pisał do interakcji z aplikacjami, działały na dwóch oddzielnych silnikach uprawnień z niespójnymi regułami. Ponadto reguły były przypisane do narzędzi, a nie do obiektów — żądano pozwolenia na użycie ogólnego „narzędzia zapisu” zamiast chronienia konkretnych dokumentów, kont czy ścieżek katalogów.

Aby to rozwiązać, Zapier odbudował bezpieczeństwo Sidekick wokół uprawnień opartych na zasobach. Reguły są teraz bezpośrednio przypisane do plików, połączonych aplikacji, stron internetowych lub automatyzacji, zapewniając egzekwowanie niezależnie od tego, jak agent próbuje wykonać akcję. Zapier wprowadził ścisłą, deterministyczną logikę oceny: explicite reguły „Nigdy” bezwzględnie nadpisują wszystkie działania, po nich następują prompty „Zapytaj najpierw”, pozwalając na ciche wykonanie tylko wtedy, gdy nie istnieje blokująca reguła. Dodatkowo Zapier przeniósł prompty zatwierdzania z liniowego transkryptu czatu do dedykowanego panelu wejściowego i trwałej globalnej skrzynki odbiorczej, jednocześnie zakodowując zabezpieczenia, które uniemożliwiają agentowi proponowanie ogólnych przyznawania uprawnień.

Dlaczego ma to znaczenie dla twórców agentów i liderów operacji

Dla małych zespołów budujących lub wdrażających agenty AI w produkcji, techniczna retrospektywa Zapier podkreśla fundamentalne wyzwanie infrastrukturalne: zarządzanie w modelu człowiek-w-pętli (HITL) nie może być traktowane jako prompt na poziomie czatu, lecz musi być zaprojektowane jako stanowy, świadomy zasobów silnik reguł w backendzie. Uprawnienia na poziomie narzędzi oferują słabe granice operacyjne, ponieważ ryzyko definiowane jest przez docelowy zasób — np. wysyłanie wiadomości na globalny kanał Slack versus prywatna wiadomość do jednego użytkownika.

Nadmierne promptowanie użytkowników prowadzi do refleksyjnego zatwierdzania bez zastanowienia, podczas gdy architektury bez promptów ryzykują całkowitą utratę zaufania po jednej błędnej egzekucji. Oddzielając stan zatwierdzenia od aktywnych wątków konwersacji i wymuszając sztywne, deterministyczne nadpisania, w których odrzucenie akcji zawsze wygrywa, orkiestratorzy mogą przyznać agentom autonomię operacyjną bez ryzyka utraty krytycznych danych firmy.

Co zrobić w tym tygodniu

1. Przenieś ocenę uprawnień z narzędzi na docelowe zasoby: Przebuduj warstwę orkiestracji agenta tak, aby granice bezpieczeństwa oceniały docelowy zasób (np. konkretną tabelę bazy danych lub ścieżkę folderu), a nie samą wywołanie funkcji.
2. Wymuś zakodowane na stałe deterministyczne nadpisania polityki: Zaimplementuj explicite silnik reguł poza oknem kontekstu modelu, gdzie reguły blokujące bezwarunkowo odrzucają wykonanie przed jakimkolwiek wywołaniem narzędzia LLM.
3. Oddziel stan człowiek-w-pętli od interfejsu czatu: Przechowuj żądania zatwierdzenia w trwałej kolejce serwerowej, aby bramki oczekujących wykonania przetrwały zamknięte karty przeglądarki i długotrwałe zadania w tle.

Źródła

• How much should an AI decide without asking you first? — Zapier Blog