Gli agenti di programmazione IA richiedono ancora l'intervento umano per la maggior parte dei compiti

Gli agenti di programmazione IA richiedono ancora l'intervento umano per la maggior parte dei compiti. Un benchmark basato su richieste di modifica reali degli utenti mostra che il modello migliore, GPT‑6 Astra, risolve completamente solo il 26,4% dei compiti, secondo The Decoder.

Cosa è successo

The Decoder riferisce che i ricercatori di Alibaba e di diverse università asiatiche hanno creato Co‑Design Bench, un test che chiede agli agenti di codifica di rielaborare app web esistenti utilizzando input diversi come immagini, audio, video o documenti. Sono stati valutati dieci modelli; GPT‑6 Astra ha soddisfatto circa il 70% dei requisiti di un compito in media, ma ha prodotto un risultato completamente corretto solo nel 26,4% dei casi. I modelli successivi migliori sono stati Claude Opus 5 e Qwen3.8‑Max, mentre Grok 4.6 si è classificato all'ultimo posto. Il benchmark enfatizza una valutazione rigorosa: un giudice IA esegue l'app finita in un browser e un secondo giudice verifica ogni verdetto positivo rispetto a bozzetti o risultati hard-coded.

Le prestazioni sono diminuite man mano che i compiti combinavano più tipi di modifica (layout, design, interazione, contenuto), riflettendo la complessità dei progetti reali. Una maggiore potenza di calcolo non è stata d'aiuto; GLM‑5.2 ha consumato quasi sei volte i token di GPT‑6 Astra su modifiche minori, ottenendo comunque un punteggio peggiore. Lo studio ha anche scoperto che l'infrastruttura (l'ambiente attraverso il quale l'agente legge, scrive ed esegue il codice) può influenzare i risultati: Qwen3.8‑27B ha ottenuto il 75% in un ambiente ma solo il 56% in un altro.

Perché è importante per i piccoli team di marketing

Per una piccola azienda che si affida a rapidi aggiornamenti di siti Web, esperimenti su landing page o strumenti interni, l'affermazione sensazionalistica secondo cui l'IA può programmare da un estremo all'altro è prematura. Il benchmark mostra che anche gli agenti più forti lasciano almeno un dettaglio incompiuto in tre quarti delle richieste, quindi la scorciatoia "no-code" di un marketer richiede comunque un programmatore o un membro dello staff esperto dal punto di vista tecnico per revisionare e correggere l'output. Questo supporto aggiuntivo erode il vantaggio di velocità promesso dall'IA e aggiunge costi di manodopera nascosti, che possono influenzare le scadenze delle campagne, la coerenza del marchio e le previsioni di budget. Inoltre, i risultati dipendenti dall'ambiente significano che scegliere semplicemente un modello non è sufficiente; i team devono testare l'intera catena di strumenti prima di affidarsi ad essa per modifiche rivolte ai clienti.

Cosa fare questa settimana

1. Scegli una pagina web a basso rischio (ad esempio, una FAQ interna) ed esegui un agente di programmazione IA su una singola modifica; quindi chiedi a uno sviluppatore di dedicare 30 minuti alla revisione dell'output rispetto a una checklist.
2. Crea una semplice checklist di QA post-generazione (funzionalità, coerenza del design, dati hard-coded) che qualsiasi codice prodotto dall'IA deve superare prima della pubblicazione.
3. Esegui lo stesso compito in due ambienti diversi (se la tua piattaforma li offre) e confronta i risultati per vedere quale ambiente produce meno correzioni manuali.

Fonti

• AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test — The Decoder