NVIDIA veröffentlicht Cosmos 3 Open-Modelle für interaktive Weltsimulationen

NVIDIA hat seine Cosmos-Weltmodell-Entwicklungsplattform erweitert, indem es laut dem Hugging Face Blog vier neue Open-Weight-Checkpoints in der Cosmos 3-Modellfamilie veröffentlicht hat, die auf interaktive Weltsimulationen und Multisensor-Fhrszenen abzielen. Alle vier Modelle sind nachgereifte (post-trained) Beispiele, die auf Cosmos 3 Nano basieren, 16 Milliarden trainierbare Parameter aufweisen und unter der OpenMDW1.1-Lizenz sowohl für die kommerzielle als auch für die nicht-kommerzielle Nutzung lizenziert sind.

Was passiert ist

Laut dem Hugging Face Blog umfasst die Veröffentlichung vier verschiedene Checkpoints, die für spezifische Simulations- und Generierungs-Workflows entwickelt wurden:

• Cosmos3-Nano-Transfer-Auto: Ein bidirektionales Modell für die Offline-Generierung synthetischer Fahrdaten, das bis zu 11 Kameraansichten, Fisheye-Objektive und die gemeinsame RGB-LiDAR-Generierung mithilfe von World Scenario Map (WSM)-Steuerungen verarbeitet.
• Cosmos3-Nano-Sim-Auto: Eine kausal destillierte Streaming-Variante von Transfer-Auto, die aufeinanderfolgende Kamera-Video- und LiDAR-Abschnitte in wenigen Entrauschungsschritten für die Echtzeit-Interaktion generiert.
• Cosmos3-Nano-Sim-Transfer: Ein Modell, das räumliche Steuerungen und Texteingaben von einem Physiksimulator übernimmt, um Farbbeobachtungen zu rendern, die von Policies verwendet werden.
• Cosmos3-Nano-Sim-Bimanual: Ein Simulator für zweiarmige Roboter (wie YAM- und AgiBot-Ausprägungen), der die Entwicklung der Umgebung anhand von Roboteraktionen oder menschlichen Joysticks unter Verwendung von 59 gemischten Aktionssteuerwerten vorhersagt.

Unter der Haube nutzen diese Modelle ein Mixture-of-Transformers-Rückgrat, das Textverarbeitungs- und visuelle Generierungsnetzwerke durch zeitlich-kausale Aufmerksamkeit (temporal-causal attention) verknüpft. Die Post-Training-Pipeline umfasst vier Phasen: bidirektionale Anpassung, Teacher Forcing, Konsistenzdestillation und Self-Forcing, um eine Fehlerkumulierung bei langen Ausführungen (Rollouts) zu verhindern. Die Ausführung dieser Architekturen erfordert Linux, eine NVIDIA-GPU, Docker und das NVIDIA Container Toolkit, wobei Basistests auf einem GB200-System durchgeführt wurden.

Warum das für kleine KI-Teams wichtig ist

Für kleine Unternehmen und Agenten-Entwicklungsteams, die an Robotik oder autonomem Fahren arbeiten, senken offene Basis-Weltmodelle (Open-Weight Foundation Models) die Einstiegshürde für die Generierung synthetischer Daten drastisch. Der Aufbau robuster physischer Agenten erfordert normalerweise massive Datensätze von Grenzfallszenarien, deren Erfassung in der realen Welt teuer und gefährlich ist. Mit den offenen Gewichten von Cosmos 3 und den dokumentierten Post-Training-Rezepten können kleine Teams Modelle wie Transfer-Auto an ihre eigenen Sensor-Rigs anpassen oder Sim-Bimanual für spezifische Roboterarme feinabstimmen, ohne visuelle Basis-Generierungsnetzwerke von Grund auf neu zu trainieren. Die Einbindung von Destillationsrezepten (Wechsel von Transfer-Auto zu Sim-Auto) bedeutet zudem, dass Teams Modelle für ein schnelleres Streaming-Inference optimieren können, wodurch die lokale Closed-Loop-Agenten-Evaluierung auf bescheidenerer Hardware-Ausstattung deutlich praktikabler wird.

Was Sie diese Woche tun sollten

1. Überprüfen Sie den technischen Bericht und klonen Sie die relevanten offenen Fähigkeiten (Skills) für die Checkpoints, die zu Ihrer Domain passen – wie Cosmos3-Nano-Sim-Bimanual für Robotermanipulation oder Transfer-Auto für benutzerdefinierte Sensor-Layouts.
2. Überprüfen Sie, ob Ihre lokale oder Cloud-Infrastruktur die technischen Voraussetzungen erfüllt, und stellen Sie sicher, dass Ihre Entwicklungsknoten mit Linux, Docker und dem NVIDIA Container Toolkit konfiguriert sind.
3. Richten Sie eine Pilot-Datenpipeline ein, um zu bewerten, wie Ihre bestehenden Rohdaten-Erfassungsformate auf die erforderlichen Steuerungsschemas abgebildet werden, wie etwa das Layout mit 59 gemischten Aktionswerten für bimanuale Ausprägungen.

Quellen

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog