Die bittere Wahrheit: Reicht rohe Rechenleistung für KI aus, oder brauchen wir intelligentere Algorithmen?

Richard Sutton, der KI‑Forscher hinter der berühmten „bitteren Lektion“, hat kürzlich die KI‑Gemeinschaft aufgewühlt, indem er laut The Decoder erklärte, dass rohe Rechenleistung allein nicht zu Intelligenz führt. Er ist der Ansicht, dass die KI‑Wissenschaft „weit von fertig“ ist und clevere neue Methoden benötigt, die über das bloße Hochskalieren bestehender Modelle hinausgehen.

Was geschah

In einem kürzlich veröffentlichten Beitrag, der eine breite Diskussion auslöste, argumentierte der Turing‑Award‑Gewinner Richard Sutton, dass rohe Rechenleistung für Intelligenz unzureichend sei und KI neue Methoden brauche, berichtet The Decoder. Diese Position erinnert an seinen berühmten Aufsatz von 2019, „The Bitter Lesson“, in dem er behauptete, dass allgemeine Verfahren, die mit Rechenleistung skalieren, letztlich komplexere, von Menschen entworfene Ansätze übertreffen. Sutton stellt jedoch jetzt klar, dass Skalierung wichtig sei, aber nur in Kombination mit den richtigen Ideen, nicht nur mit roher Gewalt.

Sutton hat bereits zuvor die Beschränkungen des reinen Hochskalierens großer Sprachmodelle kritisiert und synthetische Daten als „großen Fehler“ bezeichnet, weil die reale Welt unendlich komplex sei und jede Simulation nur „mikroskopisch“ sei, merkt The Decoder an. Er argumentiert, dass menschliche Expertise ein Engpass sei, der echtes Skalieren verhindert. Stattdessen plädiert Sutton für Agenten mit „World Models“, die kontinuierlich aus ihrer eigenen Erfahrung lernen, und betont, dass heutige Sprachmodelle nach dem Training aufhören zu lernen, während die reale Welt weitaus komplexer ist als Internet‑Texte erfassen können. Er hebt die Notwendigkeit kontinuierlichen Lernens hervor, ohne altes Wissen zu verlieren.

Jerry Tworek, ein KI‑Forscher, der OpenAI verlassen hat, um neue Ansätze zu erkunden, setzt Suttons Aussage in Kontext und schreibt, dass die bittere Lektion weiterhin gilt, das Algorithmus‑Design jedoch mit zunehmender Rechenleistung wichtiger werde, so The Decoder. Tworek schlägt vor, dass der vorübergehende Erfolg der Transformer‑Skalierung, kombiniert mit einem Missverständnis der bitteren Lektion, die „Belohnungs‑Hacker“ der Gehirne einer ganzen Wissenschaftsgeneration erzeugt habe. Jayden Teoh, ein weiterer KI‑Forscher, fügt hinzu, dass eine Fehlinterpretation von Suttons Botschaft dazu geführt habe, dass vielversprechende akademische Ideen verworfen wurden, weil sie nicht dem Geist der bitteren Lektion entsprächen, obwohl sie zu jener Zeit Fortschritt ermöglichten.

Diese Spannung zwischen Suttons Aufruf zu neuen Methoden und Tworeks Kritik am blinden Skalieren zeigt sich in einer wachsenden Welle von Start‑ups. The Decoder, mit Verweis auf sein Frontier Radar #5, verzeichnete 45 neue KI‑Labore, darunter Tworeks Core Automation und Suttons Oak Lab, die auf diese Lücken setzen und Lernalgorithmen jenseits des aktuellen Pre‑Trainings und Reinforcement Learnings suchen.

Allerdings sind nicht alle einverstanden. OpenAI‑CEO Sam Altman glaubt, dass die LLM‑Skalierung bei weitem nicht erschöpft sei, und wirft Kritikern vor, die Forschung zu verlangsamen. Er verweist auf ein OpenAI‑Modell, das kürzlich eine langjährige mathematische Vermutung widerlegt hat, als Beweis dafür, dass Daten eindeutig weitere LLM‑Skalierung unterstützen, sieht aber World Models als nützlich in speziellen Bereichen wie Robotik, berichtet The Decoder. Anthropic‑CEO Dario Amodei argumentiert ähnlich, dass der Skalierungsfortschritt „ein Regenbogen ohne Ende“ sei. The Decoder weist darauf hin, dass sowohl Altman als auch Amodei als CEOs von Unternehmen, die auf LLM‑Skalierung bauen, von Natur aus voreingenommen zugunsten dieser Strategie sind.

Warum es für kleine Unternehmen wichtig ist

Dies ist nicht nur akademisches KI‑Zanken; es ist eine grundlegende Debatte, die die KI‑Werkzeuge, die Sie in den nächsten Jahren nutzen werden, prägen wird. Wenn Sutton und seine Verbündeten Recht haben, bewegen wir uns weg von größeren, dümmeren LLMs hin zu anspruchsvolleren, kontinuierlich lernenden Agenten, die sich an den einzigartigen Kontext Ihres Unternehmens anpassen. Stellen Sie sich einen KI‑Assistenten vor, der mit jeder Nutzung intelligenter wird in Bezug auf Ihre spezifischen Arbeitsabläufe, anstatt Ihnen nur eine leicht verbesserte generische Antwort mit jeder neuen Modellgeneration zu geben. Dieser Wandel könnte eine neue Welle hochspezialisierter, adaptiver KI‑Werkzeuge bedeuten, die Ihre Nische wirklich verstehen und das Spielfeld gegenüber größeren Wettbewerbern, die massive, allgemeine Datensätze nutzen, ausgleichen. Die aktuelle Welle von Start‑ups, die sich auf diese „Lücken“ konzentrieren, signalisiert eine Zukunft mit einer breiteren Palette spezialisierter, intelligenter Werkzeuge, nicht nur ein paar monolithische KI‑Giganten.

Was Sie diese Woche tun können

1. Experimentieren Sie mit agentischen Frameworks (wie AutoGen oder CrewAI), um zu sehen, wie das Ketten von LLM‑Aufrufen kontinuierliches Lernen simulieren und sich an spezifische Aufgaben in Ihrem Unternehmen anpassen kann.
2. Beobachten Sie aufstrebende KI‑Tools aus den neuen Laboren, die von The Decoder’s Frontier Radar genannt werden, insbesondere solche, die sich auf kontinuierliches Lernen oder World Models konzentrieren, da sie spezialisierte Lösungen jenseits generischer LLMs bieten könnten.
3. Identifizieren Sie konkrete Geschäftsprozesse, bei denen aktuelle statische LLM‑Antworten wegen fehlendem kontinuierlichem Lernen oder real‑weltlichem Verständnis versagen, und überlegen Sie, wie ein agentischer oder adaptiver KI‑Assistent diese Lücken schließen könnte.

Quellen

• The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts — The Decoder