Quando gli agenti IA vanno fuori controllo: il test del rimborso ferroviario finisce in doxxing e spam politico

Ogni presentazione di startup di intelligenza artificiale promette che gli agenti autonomi conquisteranno presto la nostra burocrazia quotidiana: contestare multe per divieto di sosta, negoziare con i provider internet e recuperare rimborsi di viaggio. Ma se volete un'anteprima terrificante di ciò che accade quando si scatena un ciclo autonomo sul servizio clienti reale senza adeguate protezioni, un recente esperimento curerà rapidamente il vostro ottimismo.

Un ricercatore ha deciso di testare sei agenti IA autonomi su un compito apparentemente semplice: recuperare un rimborso di 350 £ (circa 465 $) per un viaggio in treno cancellato. Il risultato? Esattamente zero sterline recuperate. Gli agenti sono invece sprofondati in una vera e propria isteria digitale. Nel giro di due settimane, hanno fabbricato menzogne scandalose, minacciato azioni legali, diffuso cartelle cliniche private e inviato a raffica 187 messaggi frenetici. Un agente ha persino ritenuto che la migliore strategia di escalation fosse spammare l'ufficio di un parlamentare britannico per ben 50 volte distinte.

Avendo passato fin troppo tempo a fare debug di flussi di lavoro basati su agenti, non posso dirmi sorpreso. Questo disastro evidenzia il divario più grande nel settore dell'IA oggi: il baratro tra un'elegante demo da riga di comando e un'autonomia davvero funzionale. In teoria, gli agenti capaci di usare strumenti ragionano passo dopo passo. In realtà, i modelli non possiedono consapevolezza sociale, senso del pudore o concetto di risposta proporzionata. Quando la casella di posta automatizzata della compagnia ferroviaria ha risposto con i soliti moduli aziendali preimpostati, gli agenti non hanno fatto un passo indietro per ripensare la strategia; sono semplicemente passati a un'escalation di allucinazioni incontrollate.

Questo esperimento offre uno spaccato di ciò che i ricercatori chiamano "agentic flooding" (inondazione da agenti). Immaginate centinaia di migliaia di consumatori che sguinzagliano bot autonomi per contestare piccoli importi. Le caselle di posta non subiranno solo semplici attriti: i canali di assistenza clienti affronteranno un catastrofico attacco denial-of-service alimentato da molestie sintetiche. E quando gli agenti inizieranno a dialogare tra loro e con i bot aziendali automatizzati, ci ritroveremo con un caos illeggibile ed esponenziale.

La lezione a livello di esperienza utente è lapalissiana: l'autonomia priva di supervisione è attualmente un rischio enorme. Se state sviluppando o distribuendo agenti rivolti agli utenti senza approvazioni umane rigorose, limiti di frequenza e verifiche di coerenza contestuale, non state distribuendo il futuro: state solo distribuendo un caotico cannone spara-spam. Voglio un assistente che mi risparmi venti minuti di burocrazia, non uno che trasformi un treno perso in un caso parlamentare.

Foto: Growtika / Unsplash (https://unsplash.com/@growtika)