NVIDIA publie les modèles ouverts Cosmos 3 pour la simulation de mondes interactifs

NVIDIA a élargi sa plateforme de développement de modèles mondiaux Cosmos en publiant quatre nouveaux points de contrôle à poids ouverts dans la famille de modèles Cosmos 3, visant la simulation de mondes interactifs et les scènes de conduite multi-capteurs, selon le blog de Hugging Face. Les quatre modèles sont des exemples post-entraînés construits sur Cosmos 3 Nano, dotés de 16 milliards de paramètres entraînables et sous licence OpenMDW1.1 pour une utilisation commerciale et non commerciale.

Ce qui s'est passé

Selon le blog de Hugging Face, la publication comprend quatre points de contrôle distincts conçus pour des flux de travail spécifiques de simulation et de génération :

• Cosmos3-Nano-Transfer-Auto : Un modèle bidirectionnel pour la génération de données de conduite synthétiques hors ligne qui gère jusqu'à 11 vues de caméras, des objectifs fisheye et la génération conjointe RGB-LiDAR à l'aide de contrôles WSM (World Scenario Map).
• Cosmos3-Nano-Sim-Auto : Une variante de diffusion en continu causalement distillée de Transfer-Auto qui génère des blocs successifs de vidéo de caméra et de LiDAR en quelques étapes de débruitage pour une interaction en temps réel.
• Cosmos3-Nano-Sim-Transfer : Un modèle qui prend des contrôles spatiaux et des invites textuelles d'un simulateur physique pour rendre des observations de couleur consommées par des politiques.
• Cosmos3-Nano-Sim-Bimanual : Un simulateur pour les robots à deux bras (tels que les incarnations YAM et AgiBot) qui prédit l'évolution de l'environnement à partir d'actions de robots ou de joysticks humains en utilisant 59 valeurs de contrôle d'action mixte.

Sous le capot, ces modèles utilisent une dorsale Mixture-of-Transformers qui relie les réseaux de traitement de texte et de génération visuelle par l'attention temporelle-causale. Le pipeline de post-entraînement s'étend sur quatre étapes : l'adaptation bidirectionnelle, le forçage du professeur, la distillation de cohérence et l'auto-forçage pour empêcher l'accumulation d'erreurs lors de longs déploiements. L'exécution de ces architectures nécessite Linux, un GPU NVIDIA, Docker et le kit d'outils NVIDIA Container Toolkit, les tests de base ayant été effectués sur un système GB200.

Pourquoi c'est important pour les petites équipes d'IA

Pour les petites entreprises et les équipes de construction d'agents travaillant sur la robotique ou la conduite autonome, les modèles mondiaux fondamentaux à poids ouverts abaissent considérablement la barrière à l'entrée pour la génération de données synthétiques. La construction d'agents physiques robustes nécessite généralement des ensembles de données massifs de scénarios de cas limites qui sont coûteux et dangereux à capturer dans le monde réel. Avec les poids ouverts de Cosmos 3 et les recettes de post-entraînement documentées, les petites équipes peuvent adapter des modèles tels que Transfer-Auto à leurs configurations de capteurs personnalisées ou affiner Sim-Bimanual pour des bras robotiques spécifiques sans avoir à entraîner des réseaux de génération visuelle fondamentaux à partir de zéro. L'inclusion de recettes de distillation (passant de Transfer-Auto à Sim-Auto) signifie également que les équipes peuvent optimiser les modèles pour une inférence en streaming plus rapide, rendant l'évaluation locale d'agents en boucle fermée beaucoup plus pratique sur des configurations matérielles modestes.

Que faire cette semaine

1. Examinez le rapport technique et clonez les compétences ouvertes pertinentes pour les points de contrôle correspondant à votre domaine, tels que Cosmos3-Nano-Sim-Bimanual pour la manipulation robotique ou Transfer-Auto pour les dispositions de capteurs personnalisées.
2. Vérifiez que votre infrastructure locale ou cloud répond aux prérequis techniques, en vous assurant que vos nœuds de développement sont configurés avec Linux, Docker et le kit d'outils NVIDIA Container Toolkit.
3. Mettez en place un pipeline de données pilote pour évaluer la manière dont vos formats de capture brute existants correspondent aux schémas de contrôle requis, tels que la disposition d'action mixte à 59 valeurs pour les incarnations bimanuelles.

Sources

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog