Zapier gestaltet die Governance von KI-Agenten um ressourcenbasierte Regeln neu

Zapier hat kürzlich eine technische Rückschau veröffentlicht, die beschreibt, wie das Unternehmen die Architektur für Berechtigungen und Genehmigungen für Sidekick, seinen KI-Workspace-Agenten, neu gestaltet hat. Der Fokus verlagerte sich von fragilen, toolzentrierten Prompts hin zu einer deterministischen, ressourcenbasierten Sicherheitsmaschine, die darauf ausgelegt ist, Ermüdungserscheinungen bei Genehmigungen zu beseitigen und unerwartete Seiteneffekte bei der Ausführung zu verhindern.

Was passiert ist

Laut dem Zapier-Blog kategorisierte das ursprüngliche Berechtigungssystem von Sidekick Aktionen nach Tool-Typen – es führte Lese-Operationen automatisch aus, pausierte jedoch, um bei Schreib-, Bearbeitungs- oder Löschaktionen die Genehmigung des Benutzers anzufordern. Diese frühe Implementierung litt jedoch an gravierenden architektonischen Mängeln. Berechtigungsaufforderungen waren an offene Browser-Tabs gebunden und verschwanden, wenn ein Tab geschlossen oder aktualisiert wurde, während fehlgeschlagene Aktionen wiederholt redundante Prompts auslösten. Auch routinemäßige Leseoperationen erzeugten Karten, wodurch wichtige Prompts im Rauschen untergingen.

Noch kritischer war, dass Zapier eine interne Systemaufdeckung entdeckte: Die integrierten Funktionen von Sidekick und die benutzerdefinierten Code-Skripte, die es zum Interagieren mit Apps schrieb, liefen auf zwei separaten Berechtigungsmaschinen mit inkonsistenten Regeln. Darüber hinaus waren Regeln an Tools und nicht an Objekte gebunden – es wurde um Erlaubnis gefragt, ein generisches „Schreib-Tool“ zu verwenden, anstatt spezifische Dokumente, Konten oder Verzeichnispfade zu schützen.

Um dies zu lösen, baute Zapier die Sicherheit von Sidekick um ressourcenbasierte Berechtigungen herum neu auf. Regeln sind nun direkt an Dateien, verbundene Apps, Websites oder Automatisierungen gebunden und bleiben in Kraft, unabhängig davon, wie der Agent versucht, eine Aktion auszuführen. Zapier etablierte eine strenge deterministische Evaluationslogik: Explizite „Nie“-Regeln überschreiben strikt alle Aktionen, gefolgt von „Zuerst fragen“-Prompts, die eine stille Ausführung nur zulassen, wenn keine blockierende Regel existiert. Zusätzlich verlegte Zapier Genehmigungsaufforderungen aus dem linearen Chat-Transkript in ein dediziertes Eingabefeld und ein persistente globale Inbox, während es Guardrails hartkodiert, die verhindern, dass der Agent pauschale Berechtigungsgewährungen vorschlägt.

Warum es für Agenten-Entwickler und Operations-Leads wichtig ist

Für kleine Teams, die KI-Agenten in den Produktivbetrieb aufbauen oder deployen, hebt die technische Rückschau von Zapier eine grundlegende Infrastrukturausforderung hervor: Human-in-the-Loop (HITL)-Governance kann nicht als Chat-Ebene-Prompt behandelt werden, sondern muss als zustandsbehaftete, ressourcenbewusste Backend-Regelmaschine architektonisch gestaltet werden. Tool-Ebene-Berechtigungen bieten schwache operative Grenzen, da das Risiko durch die Zielressource definiert ist – wie z. B. die Nachricht an einen globalen Slack-Kanal im Vergleich zu einer DM an einen einzelnen Benutzer.

Übermäßiges Prompting führt zu reflexartigem Abnicken, während Architekturen ohne Prompts nach einer einzigen schlechten Ausführung das totale Vertrauen verlieren. Durch die Entkopplung des Genehmigungsstatus von aktiven Gesprächsthreads und die Durchsetzung starrer, deterministischer Überschreibungen, bei denen die Ablehnung einer Aktion immer gewinnt, können Orchestratoren Agenten operative Autonomie gewähren, ohne kritische Unternehmensdaten zu riskieren.

Was diese Woche zu tun ist

1. Bewerten Sie Berechtigungen von Tools auf Zielressourcen um: Refaktorisieren Sie Ihre Agenten-Orchestrierungsebene, damit Sicherheitsgrenzen das Zielasset (z. B. eine spezifische Datenbanktabelle oder einen Ordnerpfad) bewerten, anstatt den Funktionsaufruf selbst.
2. Erzwingen Sie hartkodierte deterministische Policy-Überschreibungen: Implementieren Sie eine explizite Regelmaschine außerhalb des Kontextfensters des Modells, bei der Blockregeln die Ausführung bedingungslos ablehnen, bevor ein LLM-Tool-Aufruf erfolgt.
3. Entkoppeln Sie den Human-in-the-Loop-Status von der Chat-UI: Speichern Sie Genehmigungsaufforderungen in einer persistenten Server-Warteschlange, damit ausstehende Ausführungsgates geschlossene Browser-Tabs und langlaufende Hintergrundaufgaben überstehen.

Quellen

• How much should an AI decide without asking you first? — Zapier Blog