La Verità Amara: È Sufficiente la Potenza di Calcolo Grezza per l'IA, o Abbiamo Bisogno di Algoritmi più Intelligenti?

Richard Sutton, il ricercatore di IA dietro la famosa “lezione amara”, ha recentemente agitato la comunità IA affermando che la sola potenza di calcolo non porterà all'intelligenza, secondo The Decoder. Crede che la scienza dell'IA sia “lontana dall'essere completata” e necessiti di nuovi metodi intelligenti oltre al semplice aumento di scala dei modelli esistenti.

In un recente post che ha suscitato ampia discussione, il vincitore del Turing Award Richard Sutton ha sostenuto che la potenza di calcolo grezza è insufficiente per l'intelligenza e che l'IA ha bisogno di nuovi metodi, riporta The Decoder. Questa posizione riecheggia il suo famoso saggio del 2019, “The Bitter Lesson”, in cui affermava che i metodi generali che scalano con la potenza di calcolo alla fine superano gli approcci sofisticati ingegnerizzati dall'uomo. Tuttavia, Sutton ora chiarisce che, sebbene la scalatura sia importante, deve essere accompagnata dalle idee giuste, non solo dalla forza bruta.

Sutton ha in passato criticato i limiti del semplice scaling dei grandi modelli linguistici, definendo i dati sintetici un “grande errore” perché il mondo reale è infinitamente complesso e qualsiasi simulazione è solo “microscopica”, osserva The Decoder. Sostiene che l'expertise umana agisce da collo di bottiglia, impedendo una vera scalatura. Invece, Sutton promuove agenti con “world model” che apprendono continuamente dalla propria esperienza, argomentando che i modelli linguistici odierni smettono di apprendere dopo l'addestramento e che il mondo reale è molto più complesso di quanto il testo di internet possa catturare. Evidenzia la necessità di apprendimento continuo senza perdere le conoscenze precedenti.

Jerry Tworek, ricercatore IA uscito da OpenAI per esplorare nuovi approcci, contestualizza la dichiarazione di Sutton, scrivendo che la lezione amara è ancora valida, ma l'algoritmo stesso diventa più cruciale man mano che la potenza di calcolo aumenta, secondo The Decoder. Tworek suggerisce che il successo temporaneo della scalatura dei transformer, combinato con una cattiva interpretazione della lezione amara, ha “manomesso le ricompense del cervello di un'intera generazione di scienziati”. Jayden Teoh, altro ricercatore IA, aggiunge che una cattiva interpretazione del messaggio di Sutton ha portato a scartare idee accademiche promettenti perché non aderivano allo spirito della lezione amara, anche se all'epoca avevano facilitato il progresso.

Questa tensione tra la chiamata di Sutton a nuovi metodi e la critica di Tworek allo scaling cieco è evidente in una crescente ondata di startup. The Decoder, citando il suo Frontier Radar #5, ha tracciato 45 nuovi laboratori IA, tra cui Core Automation di Tworek e Oak Lab di Sutton, che scommettono su queste lacune, cercando algoritmi di apprendimento oltre il pre‑training e il reinforcement learning attuali.

Tuttavia, non tutti sono d'accordo. Il CEO di OpenAI Sam Altman crede che la scalatura dei LLM sia tuttora lontana dall'essere esaurita, accusando i critici di rallentare la ricerca. Indica un modello OpenAI che ha recentemente smentito una congettura matematica di lunga data come prova che i dati favoriscono chiaramente ulteriori scalature dei LLM, sebbene veda i world model utili in aree specifiche come la robotica, riporta The Decoder. Il CEO di Anthropic Dario Amodei sostiene analogamente che il progresso della scalatura è “un arcobaleno senza fine”. The Decoder sottolinea che sia Altman sia Amodei, in qualità di CEO di aziende costruite sulla scalatura dei LLM, hanno un bias intrinseco a favore di essa.

Perché è importante per le piccole aziende

Non si tratta solo di discussioni accademiche; è un dibattito fondamentale che modellerà gli strumenti IA che utilizzerai nei prossimi anni. Se Sutton e i suoi alleati hanno ragione, ci stiamo spostando da LLM più grandi e più stupidi verso agenti più sofisticati, in grado di apprendere continuamente e di adattarsi al tuo contesto aziendale unico. Immagina un assistente IA che diventa davvero più intelligente sui tuoi flussi di lavoro specifici più lo utilizzi, invece di fornire semplicemente una risposta generica leggermente migliore ad ogni nuova generazione di modello. Questo cambiamento potrebbe significare una nuova ondata di strumenti IA altamente specializzati e adattivi che comprendono veramente il tuo settore, livellando il campo di gioco contro concorrenti più grandi che si affidano a enormi dataset generici. L’attuale gruppo di startup che si concentra su queste “lacune” segnala un futuro con una più ampia gamma di strumenti specializzati e intelligenti, non solo pochi giganti IA monolitici.

Cosa fare questa settimana

1. Sperimenta con framework agentici (come AutoGen o CrewAI) per vedere come concatenare chiamate LLM possa simulare l'apprendimento continuo e adattarsi a compiti specifici nella tua azienda.
2. Tieni d'occhio gli strumenti IA emergenti dei nuovi laboratori citati dal Frontier Radar di The Decoder, in particolare quelli focalizzati sull'apprendimento continuo o sui world model, poiché potrebbero offrire soluzioni specializzate oltre i LLM generici.
3. Identifica i processi aziendali specifici in cui le risposte statiche dei LLM attuali risultano insufficienti per mancanza di apprendimento continuo o comprensione del mondo reale, e valuta come un tool IA più agentico o adattivo possa colmare queste lacune.

Fonti

• The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts — The Decoder