Gorzkawa Prawda: Czy surowa moc obliczeniowa wystarczy dla AI, czy potrzebujemy inteligentniejszych algorytmów?

Richard Sutton, badacz AI stojący za słynną „gorzką lekcją”, niedawno poruszył społeczność AI, stwierdzając, że sama surowa moc obliczeniowa nie doprowadzi do inteligencji, jak podaje The Decoder. Uważa on, że nauka o AI jest „daleka od ukończenia” i potrzebuje sprytnych nowych metod wykraczających poza samo skalowanie istniejących modeli.

Co się stało

W niedawnym poście, który wywołał szeroką dyskusję, laureat Nagrody Turinga Richard Sutton argumentował, że surowa moc obliczeniowa jest niewystarczająca dla inteligencji i że AI potrzebuje nowych metod, donosi The Decoder. To stanowisko nawiązuje do jego słynnego eseju z 2019 roku, „The Bitter Lesson”, w którym twierdził, że ogólne metody skalujące się z mocą obliczeniową ostatecznie przewyższają wyrafinowane podejścia zaprojektowane przez człowieka. Sutton wyjaśnia jednak, że choć skalowanie jest ważne, musi być połączone z właściwymi pomysłami, a nie tylko z brutalną siłą.

Sutton wcześniej krytykował ograniczenia samego skalowania dużych modeli językowych, nazywając dane syntetyczne „dużym błędem”, ponieważ prawdziwy świat jest nieskończenie złożony, a każda symulacja jest jedynie „mikroskopijna”, zauważa The Decoder. Twierdzi, że ludzka wiedza specjalistyczna działa jak wąskie gardło, uniemożliwiając prawdziwe skalowanie. Zamiast tego Sutton opowiada się za agentami z „modelami świata”, które nieustannie uczą się na podstawie własnych doświadczeń, argumentując, że dzisiejsze modele językowe przestają się uczyć po treningu, a prawdziwy świat jest znacznie bardziej złożony, niż może uchwycić tekst internetowy. Podkreśla potrzebę ciągłego uczenia się bez utraty starej wiedzy.

Jerry Tworek, badacz AI, który opuścił OpenAI, aby badać nowe podejścia, kontekstualizuje wypowiedź Suttona, pisząc, że gorzka lekcja nadal obowiązuje, ale sam algorytm staje się bardziej kluczowy wraz ze wzrostem mocy obliczeniowej, według The Decoder. Tworek sugeruje, że tymczasowy sukces skalowania transformerów, w połączeniu z błędną interpretacją gorzkiej lekcji, „zhakował system nagród w mózgach całego pokolenia naukowców”. Jayden Teoh, inny badacz AI, dodaje, że błędna interpretacja przesłania Suttona doprowadziła do odrzucenia obiecujących idei akademickich za to, że nie trzymały się ducha gorzkiej lekcji, nawet jeśli w tamtym czasie umożliwiały postęp.

To napięcie między wezwaniem Suttona do nowych metod a krytyką ślepego skalowania przez Tworka jest widoczne w rosnącej fali startupów. The Decoder, powołując się na swój Frontier Radar #5, śledził 45 nowych laboratoriów AI, w tym Core Automation Tworka i Oak Lab Suttona, które stawiają na te luki, poszukując algorytmów uczenia się wykraczających poza obecne wstępne szkolenie i uczenie ze wzmocnieniem.

Jednak nie wszyscy się zgadzają. CEO OpenAI, Sam Altman, uważa, że skalowanie LLM jest dalekie od wyczerpania, oskarżając krytyków o spowalnianie badań. Wskazuje na model OpenAI, który niedawno obalił długotrwałe przypuszczenie matematyczne, jako dowód na to, że dane wyraźnie przemawiają za dalszym skalowaniem LLM, choć uważa modele świata za przydatne w specyficznych obszarach, takich jak robotyka, donosi The Decoder. CEO Anthropic, Dario Amodei, podobnie argumentuje, że postęp w skalowaniu to „tęcza bez końca”. The Decoder zauważa, że zarówno Altman, jak i Amodei, jako CEO firm zbudowanych na skalowaniu LLM, są z natury stronniczy na jego korzyść.

Dlaczego to ma znaczenie dla małych firm

To nie tylko akademickie spory o AI; to fundamentalna debata, która ukształtuje narzędzia AI, z których będziesz korzystać w ciągu najbliższych kilku lat. Jeśli Sutton i jego sojusznicy mają rację, przechodzimy od większych, głupszych LLM do bardziej wyrafinowanych, stale uczących się agentów, którzy dostosowują się do Twojej firmy. Wyobraź sobie asystenta AI, który faktycznie staje się mądrzejszy w zakresie Twoich konkretnych przepływów pracy im więcej go używasz, zamiast po prostu dawać nieco lepszą ogólną odpowiedź z każdą nową generacją modelu. Ta zmiana może oznaczać nową falę wysoce wyspecjalizowanych, adaptacyjnych narzędzi AI, które naprawdę rozumieją Twoją niszę, potencjalnie wyrównując szanse w walce z większymi konkurentami, którzy polegają na ogromnych, ogólnych zbiorach danych. Obecna grupa startupów koncentrujących się na tych „lukach” sygnalizuje przyszłość z szerszą gamą wyspecjalizowanych, inteligentnych narzędzi, a nie tylko kilkoma monolitycznymi gigantami AI.

Co zrobić w tym tygodniu

1. Eksperymentuj z frameworkami agentowymi (takimi jak AutoGen lub CrewAI), aby zobaczyć, jak łączenie wywołań LLM może symulować ciągłe uczenie się i dostosowywać się do konkretnych zadań w Twojej firmie.
2. Obserwuj pojawiające się narzędzia AI z nowych laboratoriów wymienionych przez The Decoder's Frontier Radar, szczególnie te skupiające się na ciągłym uczeniu się lub modelach świata, ponieważ mogą oferować wyspecjalizowane rozwiązania wykraczające poza ogólne LLM.
3. Zidentyfikuj konkretne procesy biznesowe, w których obecne statyczne odpowiedzi LLM są niewystarczające z powodu braku ciągłego uczenia się lub zrozumienia świata rzeczywistego, i zastanów się, w jaki sposób bardziej agentowe lub adaptacyjne narzędzie AI mogłoby wypełnić te luki.

Źródła

• The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts — The Decoder