Zapier rediseña la gobernanza de agentes de IA en torno a reglas basadas en recursos

Zapier publicó recientemente una retrospectiva técnica que detalla cómo rediseñó la arquitectura de permisos y aprobaciones para Sidekick, su agente de espacio de trabajo de IA. La empresa se alejó de los prompts frágiles centrados en herramientas hacia un motor de seguridad determinista basado en recursos, diseñado para eliminar la fatiga de aprobaciones y prevenir efectos secundarios inesperados en la ejecución.

Qué sucedió

Según el Blog de Zapier, el sistema de permisos inicial de Sidekick categorizaba las acciones por tipos de herramienta: ejecutaba operaciones de solo lectura automáticamente mientras pausaba para solicitar la aprobación del usuario en acciones de escritura, edición o eliminación. Sin embargo, esta implementación temprana presentaba graves fallas arquitectónicas. Las solicitudes de permiso estaban vinculadas a pestañas del navegador abiertas, desapareciendo si una pestaña se cerraba o recargaba, mientras que las acciones fallidas generaban repetidamente prompts redundantes. Las operaciones de lectura rutinarias también generaban tarjetas, haciendo que los prompts importantes se perdieran entre el ruido.

Más críticamente, Zapier descubrió una división interna del sistema: las capacidades integradas de Sidekick y los scripts de código personalizado que escribió para interactuar con aplicaciones se ejecutaban en dos motores de permisos separados con reglas inconsistentes. Además, las reglas estaban vinculadas a herramientas en lugar de a objetos, solicitando permiso para usar una "herramienta de escritura" genérica en lugar de proteger documentos, cuentas o rutas de directorio específicas.

Para resolver esto, Zapier reconstruyó la seguridad de Sidekick en torno a permisos basados en recursos. Las reglas ahora se adjuntan directamente a archivos, aplicaciones conectadas, sitios web o automatizaciones, manteniendo la aplicación sin importar cómo el agente intente ejecutar una acción. Zapier estableció una lógica de evaluación estricta y determinista: las reglas explícitas de "Never" anulan todas las acciones, seguidas de prompts de "Ask first", permitiendo la ejecución silenciosa solo cuando no exista una regla bloqueadora. Además, Zapier trasladó los prompts de aprobación fuera de la transcripción lineal del chat a un panel de entrada dedicado y una bandeja de entrada global persistente, mientras codificaba de forma rígida salvaguardas que impiden que el agente proponga concesiones de permiso generales.

Por qué es importante para los creadores de agentes y líderes de operaciones

Para equipos pequeños que construyen o despliegan agentes de IA en producción, la retrospectiva técnica de Zapier destaca un desafío fundamental de infraestructura: la gobernanza humana en el bucle (HITL) no puede tratarse como un prompt a nivel de chat, sino que debe diseñarse como un motor de reglas backend con estado y consciente de los recursos. Los permisos a nivel de herramienta ofrecen límites operacionales débiles porque el riesgo se define por el recurso objetivo, como enviar un mensaje a un canal global de Slack frente a un DM a un solo usuario.

Solicitar demasiados prompts a los usuarios conduce a una aprobación automática por reflejo, mientras que las arquitecturas sin prompts arriesgan la pérdida total de confianza tras una sola ejecución errónea. Al desacoplar el estado de aprobación de los hilos de conversación activos y aplicar sobrescrituras rígidas y deterministas donde negar una acción siempre prevalece, los orquestadores pueden otorgar autonomía operativa a los agentes sin poner en riesgo datos críticos de la empresa.

Qué hacer esta semana

1. Cambiar la evaluación de permisos de herramientas a recursos objetivo: Refactoriza la capa de orquestación de tu agente para que los límites de seguridad evalúen el activo de destino (p. ej., una tabla de base de datos específica o una ruta de carpeta) en lugar de la llamada a la función en sí.
2. Aplicar sobrescrituras de política deterministas codificadas: Implementa un motor de reglas explícito fuera de la ventana de contexto del modelo donde las reglas de bloqueo rechacen incondicionalmente la ejecución antes de que ocurra cualquier llamada a herramienta del LLM.
3. Desacoplar el estado humano en el bucle de la interfaz de chat: Almacena las solicitudes de aprobación en una cola de servidor persistente para que las puertas de ejecución pendientes sobrevivan a pestañas del navegador cerradas y tareas de fondo de larga duración.

Fuentes

• How much should an AI decide without asking you first? — Zapier Blog