NVIDIA wydaje otwarte modele Cosmos 3 do interaktywnej symulacji świata

NVIDIA rozszerzyła swoją platformę rozwoju modeli świata Cosmos, wydając cztery nowe otwarte punkty kontrolne (checkpoints) z rodziny modeli Cosmos 3, przeznaczone do interaktywnej symulacji świata oraz wieloczujnikowych scen jazdy, jak podaje blog Hugging Face. Wszystkie cztery modele to przykłady po treningu oparto na Cosmos 3 Nano, posiadają 16 miliardów trenowalnych parametrów i są licencjonowane na warunkach OpenMDW1.1 do użytku komercyjnego i niekomercyjnego.

Co się stało

Zgodnie z informacjami z bloga Hugging Face, wydanie obejmuje cztery różne punkty kontrolne zaprojektowane dla konkretnych przepływów pracy związanych z symulacją i generowaniem:

• Cosmos3-Nano-Transfer-Auto: Model dwukierunkowy do generowania offline syntetycznych danych z jazdy, obsługujący do 11 widoków kamer, obiektywy typu rybie oko oraz wspólne generowanie RGB-LiDAR przy użyciu kontroli World Scenario Map (WSM).
• Cosmos3-Nano-Sim-Auto: Kausalnie zdestylowany wariant strumieniowy modelu Transfer-Auto, który generuje kolejne fragmenty wideo z kamer i danych LiDAR w zaledwie kilku krokach odszumiania na potrzeby interakcji w czasie rzeczywistym.
• Cosmos3-Nano-Sim-Transfer: Model, który przyjmuje kontrolki przestrzenne i podpowiedzi tekstowe z symulatora fizyki w celu renderowania obserwacji kolorów wykorzystywanych przez polityki.
• Cosmos3-Nano-Sim-Bimanual: Symulator dla robotów dwuręcznych (takich jak ucieleśnienia YAM i AgiBot), który przewiduje ewolucję środowiska na podstawie akcji robota lub joysticków obsługiwanych przez człowieka, wykorzystując 59 mieszanych wartości kontrolnych akcji.

Pod maską modele te wykorzystują szkielet typu Mixture-of-Transformers, który łączy sieci przetwarzania tekstu i generowania wizualnego za pomocą uwagi czasowo-kauzalnej. Potok post-treningowy obejmuje cztery etapy: adaptację dwukierunkową, wymuszanie nauczycielskie (teacher forcing), destylację spójności oraz samowymuszanie (self-forcing) w celu zapobiegania kumulacji błędów podczas długich symulacji. Uruchomienie tych architektur wymaga systemu Linux, karty graficznej NVIDIA, Dockera oraz zestawu narzędzi NVIDIA Container Toolkit, a testy bazowe przeprowadzono na systemie GB200.

Dlaczego to ma znaczenie dla małych zespołów AI

Dla małych firm i zespołów budujących agenty, które pracują nad robotyką lub jazdą autonomiczną, otwarte podstawowe modele świata drastycznie obniżają barierę wejścia w generowanie danych syntetycznych. Budowanie odpornych agentów fizycznych zazwyczaj wymaga potężnych zbiorów danych zawierających skrajne scenariusze, których rejestracja w świecie rzeczywistym jest kosztowna i niebezpieczna. Dzięki otwartym wagom Cosmos 3 i udokumentowanym przepisom dotyczącym post-treningu, małe zespoły mogą dostosować modele takie jak Transfer-Auto do swoich niestandardowych zestawów czujników lub dostroić Sim-Bimanual dla konkretnych ramion robotycznych bez konieczności trenowania podstawowych sieci generowania wizualnego od zera. Uwzględnienie przepisów dotyczących destylacji (przejście z Transfer-Auto do Sim-Auto) oznacza również, że zespoły mogą optymalizować modele pod kątem szybszego wnioskowania strumieniowego, dzięki czemu lokalna ewaluacja agentów w pętli zamkniętej staje się znacznie bardziej praktyczna na skromniejszym sprzęcie.

Co zrobić w tym tygodniu

1. Zapoznaj się z raportem technicznym i sklonuj odpowiednie otwarte umiejętności dla punktów kontrolnych pasujących do Twojej domeny – takich jak Cosmos3-Nano-Sim-Bimanual do manipulacji robotycznej lub Transfer-Auto do niestandardowych układów czujników.
2. Sprawdź, czy Twoja infrastruktura lokalna lub chmurowa spełnia wymagania techniczne, upewniając się, że węzły programistyczne są skonfigurowane z systemem Linux, Dockerem i pakietem NVIDIA Container Toolkit.
3. Skonfiguruj pilotażowy potok danych, aby ocenić, jak Twoje obecne formaty surowego zapisu mapują się na wymagane schematy sterowania, takie jak układ 59 mieszanych akcji dla ucieleśnień dwuręcznych.

Źródła

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog