NVIDIAbrengt Cosmos 3 open-source modellen uit voor interactieve wereldsimulatie

NVIDIA heeft zijn Cosmos-platform voor de ontwikkeling van wereldmodellen uitgebreid door vier nieuwe open-weight checkpoints uit te brengen in de Cosmos 3-modellenfamilie, gericht op interactieve wereldsimulatie en rijsensorenscènes, aldus de Hugging Face Blog.

Alle vier de modellen zijn post-trained voorbeelden gebouwd op Cosmos 3 Nano, hebben 16 miljard trainbare parameters en zijn gelicentieerd onder OpenMDW1.1 voor zowel commercieel als niet-commercieel gebruik.

Wat er is gebeurd

Volgens de Hugging Face Blog bevat de release vier verschillende checkpoints die zijn ontworpen voor specifieke simulatie- en generatieworkflows:

• Cosmos3-Nano-Transfer-Auto: Een bidirectioneel model voor het offline genereren van synthetische rijdata dat tot 11 camerabeelden, fisheyelenzen en gezamenlijke RGB-LiDAR-generatie verwerkt met behulp van World Scenario Map (WSM)-besturing.
• Cosmos3-Nano-Sim-Auto: Een causaal gedistilleerde streamingvariant van Transfer-Auto die opeenvolgende cameravideo- en LiDAR-chunks genereert in een paar denoising-stappen voor realtime interactie.
• Cosmos3-Nano-Sim-Transfer: Een model dat ruimtelijke besturingselementen en tekstprompts van een fysicasimulator gebruikt om kleurobservaties te renderen die door policies worden verbruikt.
• Cosmos3-Nano-Sim-Bimanual: Een simulator voor robots met twee armen (zoals YAM- en AgiBot-uitvoeringen) die de evolutie van de omgeving voorspelt op basis van robotacties of joysticks van mensen met behulp van 59 gemengde actiebesturingswaarden.

Onder de motorkap gebruiken deze modellen een Mixture-of-Transformers-backbone die tekstverwerkings- en visuele generatienetwerken koppelt via temporele causale aandacht. De post-training-pipeline omvat vier fasen: bidirectionele adaptatie, teacher forcing, consistentiedistillatie en self-forcing om foutstapeling tijdens lange simulaties te voorkomen. Het draaien van deze architecturen vereist Linux, een NVIDIA GPU, Docker en de NVIDIA Container Toolkit, waarbij basistests zijn uitgevoerd op een GB200-systeem.

Waarom het belangrijk is voor kleine AI-teams

Voor kleine bedrijven en teams die agents bouwen voor robotica of autonoom rijden, verlagen open-weight fundamentele wereldmodellen de drempel voor het genereren van synthetische data aanzienlijk. Het bouwen van robuuste fysieke agents vereist meestal massale datasets van randgevallen die duur en gevaarlijk zijn om in de echte wereld vast te leggen. Met de open gewichten van Cosmos 3 en gedocumenteerde post-training-recepten kunnen kleine teams modellen zoals Transfer-Auto aanpassen aan hun aangepaste sensoropstellingen of Sim-Bimanual fijn afstemmen voor specifieke robotarmen zonder fundamentele visuele generatienetwerken vanaf nul te trainen. De opname van distillatierecepten (van Transfer-Auto naar Sim-Auto) betekent ook dat teams modellen kunnen optimaliseren voor snellere streaming-inferentie, waardoor lokale closed-loop agent-evaluatie een stuk praktischer wordt op bescheiden hardware-opstellingen.

Wat je deze week kunt doen

1. Bekijk het technische rapport en klon de relevante open vaardigheden voor de checkpoints die overeenkomen met jouw domein, zoals Cosmos3-Nano-Sim-Bimanual voor robotmanipulatie of Transfer-Auto voor aangepaste sensorindelingen.
2. Controleer of je lokale of cloudinfrastructuur voldoet aan de technische vereisten en zorg ervoor dat je ontwikkelingsnodes zijn geconfigureerd met Linux, Docker en de NVIDIA Container Toolkit.
3. Zet een proefdatapipline op om te evalueren hoe je bestaande onbewerkte vastlegformaten worden toegewezen aan de vereiste besturingsschema's, zoals de indeling met 59 gemengde actiewaarden voor bimanuele uitvoeringen.

Bronnen

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog