L'amère vérité : La puissance de calcul brute est-elle suffisante pour l'IA, ou avons-nous besoin d'algorithmes plus intelligents ?

Richard Sutton, le chercheur en IA à l'origine de la célèbre "leçon amère", a récemment agité la communauté de l'IA en déclarant que la puissance de calcul brute seule ne mènera pas à l'intelligence, selon The Decoder. Il estime que la science de l'IA est "loin d'être achevée" et nécessite de nouvelles méthodes astucieuses au-delà de la simple mise à l'échelle des modèles existants.

Ce qui s'est passé

Dans un récent article qui a suscité une large discussion, Richard Sutton, lauréat du prix Turing, a soutenu que la puissance de calcul brute est insuffisante pour l'intelligence et que l'IA a besoin de nouvelles méthodes, rapporte The Decoder. Cette position fait écho à son célèbre essai de 2019, "The Bitter Lesson", où il affirmait que les méthodes générales qui s'adaptent à la puissance de calcul finissent par surpasser les approches sophistiquées conçues par l'homme. Cependant, Sutton clarifie maintenant que si la mise à l'échelle est importante, elle doit être associée aux bonnes idées, et non pas seulement à la force brute.

Sutton a déjà critiqué les limites de la simple mise à l'échelle des grands modèles de langage, qualifiant les données synthétiques de "grosse erreur" car le monde réel est infiniment complexe et toute simulation n'est que "microscopique", note The Decoder. Il soutient que l'expertise humaine agit comme un goulot d'étranglement, empêchant une véritable mise à l'échelle. Au lieu de cela, Sutton plaide pour des agents dotés de "modèles du monde" qui apprennent continuellement de leur propre expérience, arguant que les modèles de langage actuels cessent d'apprendre après l'entraînement et que le monde réel est bien plus complexe que ce que le texte d'internet peut capturer. Il souligne la nécessité d'un apprentissage continu sans perdre les anciennes connaissances.

Jerry Tworek, un chercheur en IA qui a quitté OpenAI pour explorer de nouvelles approches, contextualise la déclaration de Sutton, écrivant que la leçon amère est toujours valable, mais que l'algorithme lui-même devient plus crucial à mesure que la puissance de calcul augmente, selon The Decoder. Tworek suggère que le succès temporaire de la mise à l'échelle des transformeurs, combiné à une mauvaise interprétation de la leçon amère, a "piraté le système de récompense du cerveau de toute une génération de scientifiques". Jayden Teoh, un autre chercheur en IA, ajoute qu'une mauvaise interprétation du message de Sutton a conduit à rejeter des idées académiques prometteuses pour ne pas adhérer à l'esprit de la leçon amère, même si elles ont permis des progrès à l'époque.

Cette tension entre l'appel de Sutton à de nouvelles méthodes et la critique de Tworek concernant la mise à l'échelle aveugle est évidente dans une vague croissante de startups. The Decoder, citant son Frontier Radar #5, a recensé 45 nouveaux laboratoires d'IA, dont Core Automation de Tworek et Oak Lab de Sutton, qui misent sur ces lacunes, recherchant des algorithmes d'apprentissage au-delà de l'entraînement préalable et de l'apprentissage par renforcement actuels.

Cependant, tout le monde n'est pas d'accord. Sam Altman, PDG d'OpenAI, estime que la mise à l'échelle des LLM est loin d'être épuisée, accusant les critiques de ralentir la recherche. Il cite un modèle d'OpenAI qui a récemment réfuté une conjecture mathématique de longue date comme preuve que les données favorisent clairement une nouvelle mise à l'échelle des LLM, bien qu'il considère les modèles du monde comme utiles dans des domaines spécifiques comme la robotique, rapporte The Decoder. Dario Amodei, PDG d'Anthropic, soutient de manière similaire que les progrès de la mise à l'échelle sont "un arc-en-ciel sans fin". The Decoder souligne que Altman et Amodei, en tant que PDG d'entreprises bâties sur la mise à l'échelle des LLM, sont intrinsèquement biaisés en sa faveur.

Pourquoi c'est important pour les petites entreprises

Il ne s'agit pas seulement de querelles académiques sur l'IA ; c'est un débat fondamental qui façonnera les outils d'IA que vous utiliserez dans les prochaines années. Si Sutton et ses alliés ont raison, nous allons au-delà des LLM plus grands et plus "bêtes" pour nous diriger vers des agents plus sophistiqués, apprenant continuellement et s'adaptant au contexte unique de votre entreprise. Imaginez un assistant IA qui devient réellement plus intelligent concernant vos flux de travail spécifiques à mesure que vous l'utilisez, plutôt que de vous donner une réponse générique légèrement meilleure à chaque nouvelle génération de modèle. Ce changement pourrait signifier une nouvelle vague d'outils d'IA hautement spécialisés et adaptatifs qui comprennent vraiment votre niche, égalisant potentiellement les chances face aux grands concurrents qui s'appuient sur d'énormes ensembles de données généraux. La récolte actuelle de startups se concentrant sur ces "lacunes" signale un avenir avec un plus large éventail d'outils spécialisés et intelligents, et non seulement quelques géants monolithiques de l'IA.

Que faire cette semaine

1. Expérimentez avec des frameworks agentiques (comme AutoGen ou CrewAI) pour voir comment l'enchaînement d'appels LLM peut simuler un apprentissage continu et s'adapter à des tâches spécifiques au sein de votre entreprise.
2. Gardez un œil sur les outils d'IA émergents des nouveaux laboratoires mentionnés par le Frontier Radar de The Decoder, en particulier ceux axés sur l'apprentissage continu ou les modèles du monde, car ils pourraient offrir des solutions spécialisées au-delà des LLM génériques.
3. Identifiez les processus commerciaux spécifiques où les réponses statiques actuelles des LLM sont insuffisantes en raison d'un manque d'apprentissage continu ou de compréhension du monde réel, et réfléchissez à la manière dont un outil d'IA plus agentique ou adaptatif pourrait combler ces lacunes.

Sources

• The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts — The Decoder