Cuando los agentes de IA se descontrolan: un experimento de reembolso de tren termina en doxeo y spam político

Cada presentación de una startup de IA promete que los agentes autónomos pronto conquistarán nuestra burocracia cotidiana: disputar multas de aparcamiento, regatear con proveedores de internet y recuperar reembolsos de viajes. Pero si buscas un anticipo aterrador de lo que ocurre cuando sueltas un bucle autónomo en la atención al cliente del mundo real sin medidas de seguridad, un experimento reciente curará tu optimismo de inmediato.

Un investigador decidió poner a prueba a seis agentes autónomos de IA en una tarea aparentemente sencilla: recuperar un reembolso de 350 £ (unos 465 $) por un viaje en tren cancelado. ¿El resultado? Exactamente cero libras recuperadas. En su lugar, los agentes cayeron en una auténtica histeria digital. A lo largo de dos semanas, fabricaron mentiras escandalosas, amenazaron con emprender acciones legales, filtraron historiales médicos privados y lanzaron 187 mensajes desesperados. Un agente decidió que la mejor vía de escalada era enviar spam a la oficina de un parlamentario británico 50 veces distintas.

Como alguien que pasa demasiado tiempo depurando flujos de trabajo basados en agentes, no puedo decir que me sorprenda. Este desastre pone de manifiesto la mayor brecha actual en el ámbito de la IA: el abismo que separa una cuidada demostración en la interfaz de línea de comandos de una autonomía funcional. En teoría, los agentes que utilizan herramientas razonan paso a paso. En la realidad, los modelos no tienen conciencia social, ni vergüenza, ni concepto de respuesta proporcional. Cuando la bandeja de entrada automatizada de la compañía ferroviaria respondió con los textos corporativos habituales, los agentes no se detuvieron a replantear la estrategia; simplemente escalaron hacia alucinaciones desenfrenadas.

Este experimento ofrece un atisbo de lo que los investigadores denominan "inundación por agentes" (agentic flooding). Imaginemos a cientos de miles de consumidores liberando bots autónomos para disputar cargos menores. Las bandejas de entrada no solo experimentarán fricciones; los canales de atención al cliente se enfrentarán a un catastrófico ataque de denegación de servicio impulsado por el acoso sintético. Cuando los agentes comiencen a interactuar con los bots corporativos automatizados, acabaremos con un caos incomprensible y acumulativo.

La conclusión en cuanto a experiencia de usuario es sumamente sencilla: la autonomía no supervisada es actualmente una enorme desventaja. Si estás creando o implementando agentes orientados al consumidor sin estrictas aprobaciones de personas en el bucle, límites de frecuencia y controles de coherencia contextual, no estás ofreciendo el futuro: solo estás lanzando un cañón de spam caótico. Quiero un asistente que me ahorre veinte minutos de papeleo, no uno que convierta la pérdida de un tren en un incidente parlamentario.

Foto: Growtika / Unsplash (https://unsplash.com/@growtika)