Runway lance Praxis-1, un modèle d'action mondial à poids ouverts pour la robotique

Runway a officiellement lancé Praxis-1, son modèle d'action mondial de 27 milliards de paramètres conçu pour générer simultanément des vidéos et des actions de contrôle pour les systèmes d'IA physique. Publié avec des poids ouverts sous licence Apache 2.0, le modèle permet aux développeurs de matériel d'inspecter, d'adapter et de déployer commercialement des politiques universelles sur des humanoïdes, des bras industriels et des configurations d'entrepôt à double bras, selon The Robot Report.

Ce qui s'est passé

Selon The Robot Report, Praxis-1 est un transformateur de diffusion à mélange d'experts (MoE) construit sur le modèle de fondation vidéo de Runway. En prédisant des images vidéo futures parallèlement à des actions de contrôle physique, le modèle exploite des vidéos du web en tandem avec des données de robots télécommandés pour apprendre la dynamique physique avant le réglage fin du matériel. Le modèle est accessible via GitHub, Hugging Face avec le support natif de LeRobot, et vLLM-Omni, avec une inférence hébergée fournie sur Reactor. Il s'exécute de manière native sur les plates-formes de calcul NVIDIA, y compris les puces de centre de données (H100, B200), les GPU de station de travail (RTX 5090, RTX PRO 6000) et le matériel de périphérie comme Jetson Thor sur des robots physiques.

Runway a testé Praxis-1 sur diverses incarnations matérielles avec des partenaires de lancement initiaux. Noble Machines a déployé la politique sur un humanoïde bipède pour la manutention industrielle lourde, où Andy Chen, responsable de la robotique chez Runway, a déclaré à The Robot Report que le modèle avait appris une tâche de chargement de planches en conteneur à partir de 30 minutes de données d'entraînement, atteignant 15 exécutions réussies sur 15. Cependant, lorsqu'il a été chargé de nettoyer un tas de planches en désordre et non identifié pour le mettre dans des bacs, son taux de réussite est tombé à six sur 10. Standard Bots a testé la politique sur un bras industriel à six axes pour la desserte de machines et la palettisation, tandis qu'Ultra l'a déployée sur des postes d'emballage d'entrepôt à double bras.

Sur le banc d'essai RoboLab-120, Praxis-1 a atteint un taux de réussite de 46,2 % sur 1 200 épisodes, se classant cinquième au total et devenant la politique open-source de bout en bout la mieux classée du classement, devant FLUX 3 Action (42,9 %), Cosmos3 Nano (36,8 %) et π0.5 (28,0 %). Ajusté sur le jeu de données de robots RT-1 de Google via SimplerEnv, Praxis-1 a atteint un taux de réussite de 80,0 %, contre 52,4 % pour la politique RT-1 d'origine.

Pourquoi c'est important pour les responsables de la robotique et de l'automatisation

Pour les petits intégrateurs de robots et les responsables de l'automatisation des usines, les modèles à poids ouverts dotés d'une licence commerciale permissive (Apache 2.0) offrent une alternative essentielle aux API cloud propriétaires. La capacité d'ajuster un point de contrôle de fondation unique de 27 milliards de paramètres à travers des cinématiques très différentes — allant d'un bras à six axes à un emballeur à double bras ou un humanoïde bipède — en utilisant l'adaptation à faible rang (LoRA) réduit la nécessité de créer des politiques de contrôle personnalisées à partir de zéro pour chaque configuration de cellule spécifique.

Cependant, les équipes opérationnelles doivent dissocier les performances des benchmarks de la fiabilité en production. Bien que Praxis-1 ait obtenu des performances parfaites sur le placement structuré de planches lors de tests contrôlés, son succès est tombé à 60 % face à des piles non structurées et désordonnées. Dans une usine ou un entrepôt réel, un taux d'échec de 40 % sur des tâches variables entraîne de graves arrêts de ligne et nécessite une intervention manuelle constante. Les responsables de l'ingénierie devraient considérer les modèles d'action mondiaux ouverts comme de solides politiques de référence pour le prototypage rapide et le réglage fin du domaine, plutôt que comme des substituts universels aux planificateurs de mouvement déterministes dans des environnements à haut débit.

Que faire cette semaine

1. Téléchargez les poids de Praxis-1 et la base de code de réglage fin depuis GitHub ou Hugging Face pour évaluer les exigences de mémoire du modèle par rapport à votre matériel de périphérie et à vos configurations de station de travail.

1. Exécutez une expérience de réglage fin par adaptation à faible rang (LoRA) en utilisant 30 à 60 minutes de vidéo télécommandée provenant d'une routine de cellule spécifique et répétitive, telle que la sélection en bac ou la desserte de machines.

1. Auditez vos tâches de déploiement cibles par variance de scène, en établissant des seuils de repli manuel stricts pour les tâches complexes ou non structurées où les taux de réussite des politiques chutent.

Sources

• Runway’s Praxis-1 world action model for robotics is now available — The Robot Report