Fable 5.2 di Anthropic Completa il 41 Percento di Lavori Freelance Reali su Benchmark di Settore

Il modello Fable 5.2 di Anthropic è ora in grado di completare il 41,3 percento di incarichi freelance reali con uno standard professionale, secondo i risultati del benchmark riportati da The Decoder. Questo segna un enorme balzo rispetto a solo un anno fa, quando gli agenti AI più performanti completavano solo il 2,5 percento dei progetti freelance del mondo reale. Il benchmark valuta i modelli rispetto a contratti Upwork effettivi che richiedono flussi di lavoro multi-step attraverso software di progettazione, audio e modellazione 3D.

Cosa è successo

The Decoder riporta che Scale Labs e il Center for AI Safety (CAIS) hanno pubblicato gli ultimi risultati per il loro Remote Labor Index (RLI), che testa i modelli AI su 240 progetti Upwork reali completati da 358 professionisti verificati. Questi lavori—del valore totale di circa $144.000, con una media di $632,60 per progetto e che richiedono circa 29 ore di lavoro umano—coprono attività come la progettazione CAD, l'editing video, lo sviluppo di giochi e l'analisi dei dati. Gli agenti operano all'interno di un ambiente virtuale precaricato con software professionali come Blender, GIMP e Audacity insieme a strumenti specializzati di generazione AI.

Fable 5.2 di Anthropic ha raggiunto un tasso di completamento del 41,3 percento, lasciando i modelli concorrenti molto indietro. Secondo The Decoder, Opus 5.5 di Anthropic si è classificato al secondo posto con il 21,25 percento, seguito da vicino da GPT 6 Astra di OpenAI con il 20,83 percento e Gemini Argon 4 di Google con il 17,08 percento. Modelli più vecchi come GPT-5.2 e Gemini 3 Pro hanno completato meno del tre percento degli incarichi. Scale Labs ha notato su X che Fable 5.2 ha ottenuto i suoi maggiori progressi nell'editing audio e musicale, nella progettazione architettonica e d'interni, e nella modellazione 3D, completando con successo quasi 50 tipi di progetti che nessun agente AI precedente aveva superato.

Tuttavia, il benchmark ha evidenziato limiti significativi. Scale Labs ha notato che Fable 5.2 fatica ancora con le animazioni e la progettazione di prodotti industriali. Quando gli agenti AI falliscono nel test, i ricercatori del CAIS hanno scoperto che producono lavori di qualità amatoriale, risultati incompleti, file danneggiati o design contraddittori. Inoltre, i tentativi di automatizzare il processo di valutazione utilizzando revisori AI sono falliti perché i modelli di valutazione sono stati facilmente ingannati da una lucidatura visiva superficiale nonostante i difetti tecnici sottostanti.

Perché è importante per le operazioni delle piccole imprese

Se gestisci le operazioni o assumi freelance creativi per una piccola azienda, questo salto di punteggio è un segnale che gli agenti AI stanno passando dalla semplice completamento del testo alla gestione della creazione di asset funzionali e multi-step. Un tasso di successo del 41 percento su compiti complessi che richiedono in media 29 ore umane significa che gli agenti possono realisticamente assistere con lavori di bozza preliminare, modellazione 3D di base o pulizia audio di routine.

Tuttavia, non dovresti licenziare i tuoi collaboratori freelance per ora. Il tasso di fallimento del 58,7 percento dimostra che gli agenti generano ancora regolarmente file inutilizzabili, risultati incompleti e design amatoriali. Inoltre, poiché il CAIS ha dimostrato che i valutatori AI automatizzati non riescono a individuare i difetti tecnici nascosti dietro superfici accattivanti, un esperto umano qualificato deve ancora ispezionare ogni singolo risultato all'interno del software effettivo prima che qualsiasi cosa vada in produzione. Per i piccoli team, la strategia pratica è sfruttare gli agenti per la stesura approssimativa e la preparazione di compiti modulari, mantenendo i professionisti esperti responsabili della revisione e dell'assemblaggio.

Cosa fare questa settimana

1. Verifica i backlog di outsourcing creativo e tecnico della tua azienda per individuare attività ricorrenti inferiori a 30 ore che coinvolgono modellazione 3D, editing audio o progettazione spaziale di base.
2. Stabilisci un protocollo di revisione manuale obbligatorio che richieda ai responsabili tecnici umani di ispezionare tutti i risultati assistiti dall'IA all'interno del software nativo prima dell'approvazione.
3. Testa uno strumento agente alimentato da modelli ad alte prestazioni come Fable 5.2 su un incarico freelance archiviato per confrontare il suo output preliminare con il lavoro del tuo freelancer originale.

Fonti

• Anthropic's Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago — The Decoder