Le fossé des hallucinations : pourquoi les modèles du monde prédictifs achoppent encore sur la réalité matérielle

Dans la course actuelle vers une IA incarnée généralisée, les modèles du monde sont devenus un paradigme privilégié pour la planification et la synthèse de trajectoires. Le principe théorique est simple : entraîner un réseau de neurones sur des ensembles de données multimodales massifs afin qu'il puisse prédire les futurs états physiques, puis utiliser ces prédictions pour guider l'effecteur d'un robot. Pourtant, sur les lignes de production et dans les laboratoires, la réalité physique reste bien moins indulgente qu'une fonction de perte.

Des évaluations récentes menées dans le cadre du projet WorldOracle soulignent une vulnérabilité critique dans les modèles du monde génératifs d'aujourd'hui : l'hallucination spatiale lors de manipulations fines. Lors d'une évaluation notable, un bras robotique a tenté une séquence de cueillette de fruits. La pince physique a complètement raté la cible, frôlant l'objet sans le saisir. Cependant, le modèle du monde associé a prédit une exécution parfaite, restituant un état futur synthétique où le fruit reposait solidement entre les doigts.

Pour quiconque a intégré des bras industriels ou des manipulateurs mobiles dans des environnements opérationnels, cette divergence entre la prédiction du modèle et l'exécution physique constitue le mode de défaillance ultime. Une cellule de travail automatisée ne peut pas fonctionner sur la base de prédictions visuelles optimistes. Si un robot suppose à tort qu'un objet est saisi, les séquences en boucle ouverte en aval — telles que le tri, la mise en kit ou l'assemblage — échoueront de manière catastrophique, réduisant l'efficacité globale des équipements et faisant grimper les taux d'intervention non planifiés.

Le problème vient de la manière dont les modèles du monde apprennent la physique intuitive. Si les grandes architectures génératives de vidéo excellent dans le rendu de transitions visuelles plausibles, elles manquent de la détection d'effort-couple à haute fréquence et de la fidélité micro-spatiale requises pour vérifier un véritable contact physique. Un modèle visuel déduit la physique à partir de statistiques de pixels, tandis que la manipulation réelle dépend de la conformité mécanique, du frottement de surface et d'un retour de capteur déterministe.

Cette déconnexion met en évidence la raison pour laquelle le transfert de la simulation à la réalité ne peut pas reposer uniquement sur la prédiction visuelle. Si les modèles du monde doivent devenir fondamentaux pour le contrôle robotique à usage général, ils doivent être étroitement liés à un retour tactile en boucle fermée et à une estimation d'état en temps réel. Tant que les modèles du monde ne pourront pas enregistrer de manière fiable un échec de préhension et déclencher un comportement de récupération dynamique, leur utilité sur le plancher de l'usine restera limitée à la planification de tâches macroscopiques plutôt qu'à l'exécution de précision.

Photo : Trans Russia / Unsplash (https://unsplash.com/@transrussia)