NVIDIA rilascia i modelli aperti Cosmos 3 per la simulazione di mondi interattivi

NVIDIA ha ampliato la sua piattaforma di sviluppo di modelli di mondo Cosmos rilasciando quattro nuovi checkpoint open-weight nella famiglia di modelli Cosmos 3, mirati alla simulazione di mondi interattivi e a scene di guida multi-sensore, secondo l'Hugging Face Blog. Tutti e quattro i modelli sono esempi post-addestrati basati su Cosmos 3 Nano, presentano 16 miliardi di parametri addestrabili e sono concessi in licenza con OpenMDW1.1 sia per uso commerciale che non commerciale.

Cosa è successo

Secondo l'Hugging Face Blog, il rilascio include quattro distinti checkpoint progettati per specifici flussi di lavoro di simulazione e generazione:

• Cosmos3-Nano-Transfer-Auto: Un modello bidirezionale per la generazione offline di dati di guida sintetici che gestisce fino a 11 viste di telecamera, obiettivi fisheye e generazione congiunta RGB-LiDAR tramite i controlli World Scenario Map (WSM).
• Cosmos3-Nano-Sim-Auto: Una variante in streaming distillata causalmente di Transfer-Auto che genera video di telecamere successivi e blocchi LiDAR in pochi passaggi di denoise per l'interazione in tempo reale.
• Cosmos3-Nano-Sim-Transfer: Un modello che riceve controlli spaziali e prompt testuali da un simulatore fisico per restituire osservazioni a colori utilizzate dalle policy.
• Cosmos3-Nano-Sim-Bimanual: Un simulatore per robot a due braccia (come le implementazioni YAM e AgiBot) che prevede l'evoluzione dell'ambiente dalle azioni del robot o dai joystick umani utilizzando 59 valori di controllo ad azione mista.

Sotto il cofano, questi modelli utilizzano una spina dorsale Mixture-of-Transformers che collega le reti di elaborazione del testo e di generazione visiva tramite l'attenzione temporale-causale. La pipeline di post-addestramento si estende su quattro fasi: adattamento bidirezionale, teacher forcing, distillazione di consistenza e self-forcing per prevenire l'accumulo di errori durante esecuzioni prolungate. L'esecuzione di queste architetture richiede Linux, una GPU NVIDIA, Docker e l'NVIDIA Container Toolkit, con test di base eseguiti su un sistema GB200.

Perché è importante per i piccoli team di IA

Per le piccole aziende e i team di sviluppo di agenti che lavorano sulla robotica o sulla guida autonoma, i modelli di mondo fondamentali open-weight riducono drasticamente la barriera d'accesso per la generazione di dati sintetici. La costruzione di agenti fisici robusti richiede solitamente enormi dataset di scenari limite che sono costosi e pericolosi da catturare nel mondo reale. Con i pesi aperti di Cosmos 3 e le ricette di post-addestramento documentate, i piccoli team possono adattare modelli come Transfer-Auto alle loro configurazioni di sensori personalizzate o perfezionare Sim-Bimanual per bracci robotici specifici senza dover addestrare da zero reti di generazione visiva fondamentali. L'inclusione di ricette di distillazione (passando da Transfer-Auto a Sim-Auto) significa anche che i team possono ottimizzare i modelli per un'inferenza in streaming più rapida, rendendo la valutazione locale degli agenti ad anello chiuso molto più pratica su configurazioni hardware modeste.

Cosa fare questa settimana

1. Esamina il report tecnico e clona le competenze aperte pertinenti per i checkpoint corrispondenti al tuo dominio, come Cosmos3-Nano-Sim-Bimanual per la manipolazione robotica o Transfer-Auto per layout di sensori personalizzati.
2. Verifica che la tua infrastruttura locale o cloud soddisfi i prerequisiti tecnici, assicurandoti che i tuoi nodi di sviluppo siano configurati con Linux, Docker e l'NVIDIA Container Toolkit.
3. Configura una pipeline di dati pilota per valutare come i tuoi formati di acquisizione grezza esistenti si mappano sugli schemi di controllo richiesti, come il layout ad azione mista a 59 valori per le implementazioni bimanuali.

Fonti

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog