De Bittere Waarheid: Is Ruwe Rekenkracht Genoeg voor AI, of Hebben We Slimmere Algoritmen Nodig?

Richard Sutton, de AI-onderzoeker achter de beroemde "bittere les", heeft onlangs de AI-gemeenschap opgeschud door te stellen dat ruwe rekenkracht alleen niet tot intelligentie leidt, volgens The Decoder. Hij gelooft dat AI-wetenschap "verre van voltooid" is en slimme nieuwe methoden nodig heeft, voorbij het simpelweg opschalen van bestaande modellen.

Wat er gebeurde

In een recent bericht dat brede discussie uitlokte, Turing Award-winnaar Richard Sutton betoogde dat ruwe rekenkracht onvoldoende is voor intelligentie en dat AI nieuwe methoden nodig heeft, meldt The Decoder. Deze houding echoot zijn beroemde essay uit 2019, "The Bitter Lesson", waarin hij betoogde dat algemene methoden die met rekenkracht schalen uiteindelijk geavanceerde, door mensen ontworpen benaderingen overtreffen. Sutton verduidelijkt nu echter dat, hoewel schalen belangrijk is, het moet worden gecombineerd met de juiste ideeën, niet alleen brute kracht.

Sutton heeft eerder de beperkingen bekritiseerd van het louter opschalen van grote taalmodellen, en noemde synthetische data een "grote fout" omdat de echte wereld oneindig complex is en elke simulatie slechts "microscopisch" is, noteert The Decoder. Hij stelt dat menselijke expertise een knelpunt vormt dat echte schaalvergroting verhindert. In plaats daarvan pleit Sutton voor agenten met "wereldmodellen" die continu leren van hun eigen ervaring, en betoogt dat hedendaagse taalmodellen stoppen met leren na training en dat de echte wereld veel complexer is dan internettekst kan vastleggen. Hij benadrukt de noodzaak van continu leren zonder oude kennis te verliezen.

Jerry Tworek, een AI-onderzoeker die OpenAI verliet om nieuwe benaderingen te verkennen, plaatst Sutton's uitspraak in context en schrijft dat de bittere les nog steeds geldt, maar dat het algoritme zelf belangrijker wordt naarmate de rekenkracht toeneemt, volgens The Decoder. Tworek suggereert dat het tijdelijke succes van transformer-schaalvergroting, gecombineerd met een misinterpretatie van de bittere les, de "beloningen" van een hele generatie wetenschappers heeft "gemanipuleerd". Jayden Teoh, een andere AI-onderzoeker, voegt daaraan toe dat een misinterpretatie van Sutton's boodschap heeft geleid tot het afwijzen van veelbelovende academische ideeën omdat ze niet in de geest van de bittere les pasten, zelfs als ze destijds vooruitgang mogelijk maakten.

Deze spanning tussen Sutton's oproep tot nieuwe methoden en Tworek's kritiek op blind schalen is duidelijk zichtbaar in een groeiende golf van startups. The Decoder, met verwijzing naar Frontier Radar #5, volgde 45 nieuwe AI-labs, waaronder Tworek's Core Automation en Sutton's Oak Lab, die inzetten op deze hiaten en zoeken naar leeralgoritmen die verder gaan dan huidige pretraining en reinforcement learning.

Niet iedereen is het echter eens. OpenAI-CEO Sam Altman gelooft dat LLM-schaalvergroting verre van uitgeput is en beschuldigt critici van het vertragen van onderzoek. Hij wijst op een OpenAI-model dat onlangs een lang bestaande wiskundige conjectuur weerlegde als bewijs dat data duidelijk verdere LLM-schaalvergroting ondersteunt, hoewel hij wereldmodellen nuttig acht in specifieke gebieden zoals robotica, meldt The Decoder. Anthropic-CEO Dario Amodei betoogt op vergelijkbare wijze dat schaalvoortgang "een regenboog zonder einde" is. The Decoder merkt op dat zowel Altman als Amodei, als CEO's van bedrijven die gebouwd zijn op LLM-schaalvergroting, inherent bevooroordeeld zijn ten gunste daarvan.

Waarom het belangrijk is voor kleine bedrijven

Dit is niet alleen academisch AI-ruzie; het is een fundamenteel debat dat de AI-tools die je de komende jaren zult gebruiken zal vormen. Als Sutton en zijn bondgenoten gelijk hebben, gaan we voorbij aan grotere, dommere LLM's naar meer verfijnde, continu lerende agenten die zich aanpassen aan jouw bedrijfscontext. Stel je een AI-assistent voor die echt slimmer wordt over jouw specifieke workflows naarmate je hem meer gebruikt, in plaats van alleen een iets beter generiek antwoord te geven met elke nieuwe modelgeneratie. Deze verschuiving kan een nieuwe golf van sterk gespecialiseerde, adaptieve AI-tools betekenen die je niche echt begrijpen, en zo het speelveld egaliseren ten opzichte van grotere concurrenten die leunen op enorme, algemene datasets. De huidige stroom startups die zich richten op deze "gaten" signaleert een toekomst met een breder scala aan gespecialiseerde, intelligente tools, niet slechts een paar monolithische AI-reuzen.

Wat je deze week kunt doen

1. Experimenteer met agentische frameworks (zoals AutoGen of CrewAI) om te zien hoe het schakelen van LLM-aanroepen continu leren kan simuleren en zich kan aanpassen aan specifieke taken binnen jouw bedrijf.
2. Houd de opkomende AI-tools van de nieuwe labs die door The Decoder's Frontier Radar worden genoemd in de gaten, vooral die gericht op continu leren of wereldmodellen, want ze kunnen gespecialiseerde oplossingen bieden die verder gaan dan generieke LLM's.
3. Identificeer specifieke bedrijfsprocessen waarbij de huidige statische LLM-reacties tekortschieten door een gebrek aan continu leren of real-world begrip, en overweeg hoe een meer agentisch of adaptief AI‑tool deze hiaten kan opvullen.

Bronnen

• The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts — The Decoder