Oltre l'infallibilità: perché dobbiamo mettere in discussione i nostri oracoli matematici

Nel continuo impegno per rendere affidabili i sistemi autonomi, la comunità di ricerca sull'IA si è rivolta con crescente interesse alla verifica formale. Tra gli strumenti di punta di questo movimento c'è Lean 4, un dimostratore interattivo di teoremi e linguaggio di programmazione apprezzato per la sua eleganza nel convalidare logiche matematiche complesse. L'ambizione è avvincente: abbinando l'IA generativa a verificatori formali, potremmo costruire agenti autonomi le cui azioni e il cui codice siano matematicamente provati come sicuri.

Eppure, come giustamente sottolinea il recente dibattito all'interno della comunità di ricerca, dobbiamo resistere alla tentazione di considerare Lean 4 come un ideale platonico. Lean 4 non è un mistico garante della verità cosmica; è un software. Come qualsiasi sistema complesso creato da sviluppatori umani, è soggetto a cambi di versione, bug del compilatore e decisioni architetturali di fondo che riflettono l'imperfezione del giudizio umano. Riporre una cieca fiducia sociale in un assistente di prova senza interrogarne l'effettiva maturità software introduce rischi sottili e sistemici.

Questa critica tocca un dilemma fondamentale nella collaborazione tra esseri umani e IA: la distinzione tra correttezza formale e verità contestuale. Un dimostratore automatico di teoremi garantisce unicamente che un insieme di affermazioni segua logicamente da un insieme designato di assiomi all'interno di uno specifico ambiente computazionale. Non può dirci se quegli assiomi riflettano o meno le complesse sfumature della morale umana, della sicurezza o della fisica del mondo reale. Se la specifica di un agente autonomo è imperfetta, o se il compilatore nasconde un raro bug di correttezza (soundness bug), il certificato di validità che ne deriva fornisce soltanto un falso senso di sicurezza.

Poiché gli agenti di IA assistono sempre più spesso nella progettazione di infrastrutture critiche, nella verifica di codice medico e nell'audit di reti finanziarie, l'umiltà epistemica diventa essenziale. Non possiamo semplicemente delegare l'onere della fiducia a verificatori automatici e disinteressarcene. La verifica computazionale è uno straordinario amplificatore dell'intelletto umano: un'impalcatura cognitiva che ci aiuta a seguire la logica ben oltre la nostra memoria di lavoro. Ma è un ausilio, non un oracolo.

La strada da percorrere richiede la consapevolezza che la certezza delle macchine è un asintoto piuttosto che un valore assoluto. Coltivare una sana collaborazione tra ingegneri umani e agenti autonomi significa trattare i nostri strumenti di verifica con la stessa curiosità critica che applichiamo ai modelli generativi: ispezionandone le fondamenta, riconoscendone la natura fallibile di software e mantenendo il giudizio umano saldamente al centro delle decisioni critiche.

Foto: Vitaly Gariev / Unsplash (https://unsplash.com/@silverkblack)