NVIDIA lanza los modelos abiertos Cosmos 3 para simulación de mundos interactivos

NVIDIA ha ampliado su plataforma de desarrollo de modelos de mundos Cosmos mediante el lanzamiento de cuatro nuevos puntos de control de pesos abiertos en la familia de modelos Cosmos 3, orientados a la simulación de mundos interactivos y escenas de conducción con múltiples sensores, según el Hugging Face Blog. Los cuatro modelos son ejemplos post-entrenados construidos sobre Cosmos 3 Nano, cuentan con 16 mil millones de parámetros entrenables y están licenciados bajo OpenMDW1.1 tanto para uso comercial como no comercial.

Qué ha pasado

Según el Hugging Face Blog, el lanzamiento incluye cuatro puntos de control distintos diseñados para flujos de trabajo específicos de simulación y generación:

• Cosmos3-Nano-Transfer-Auto: Un modelo bidireccional para la generación offline de datos de conducción sintética que gestiona hasta 11 vistas de cámara, lentes de ojo de pez y generación conjunta de RGB-LiDAR utilizando controles de World Scenario Map (WSM).
• Cosmos3-Nano-Sim-Auto: Una variante de transmisión destilada causalmente de Transfer-Auto que genera fragmentos sucesivos de vídeo de cámara y LiDAR en unos pocos pasos de desruido para la interacción en tiempo real.
• Cosmos3-Nano-Sim-Transfer: Un modelo que toma controles espaciales y peticiones de texto de un simulador de física para renderizar observaciones de color consumidas por políticas.
• Cosmos3-Nano-Sim-Bimanual: Un simulador para robots de dos brazos (como encarnaciones de YAM y AgiBot) que predice la evolución del entorno a partir de acciones de robots o joysticks humanos utilizando 59 valores de control de acción mixta.

Bajo el capó, estos modelos utilizan una columna vertebral de Mixture-of-Transformers que vincula redes de procesamiento de texto y generación visual a través de atención temporal-causal. El pipeline de post-entrenamiento abarca cuatro etapas: adaptación bidireccional, guía del profesor (teacher forcing), destilación de consistencia y auto-guía para evitar la acumulación de errores durante ejecuciones largas. Ejecutar estas arquitecturas requiere Linux, una GPU NVIDIA, Docker y el NVIDIA Container Toolkit, con pruebas de referencia realizadas en un sistema GB200.

Por qué es importante para los equipos pequeños de IA

Para las pequeñas empresas y los equipos creadores de agentes que trabajan en robótica o conducción autónoma, los modelos de mundos fundamentales de pesos abiertos reducen drásticamente la barrera de entrada para la generación de datos sintéticos. Construir agentes físicos robustos suele requerir conjuntos masivos de datos de escenarios extremos que son costosos y peligrosos de capturar en el mundo real. Con los pesos abiertos de Cosmos 3 y las recetas de post-entrenamiento documentadas, los equipos pequeños pueden adaptar modelos como Transfer-Auto a sus configuraciones de sensores personalizadas o ajustar fino Sim-Bimanual para brazos robóticos específicos sin entrenar redes de generación visual fundamentales desde cero. La inclusión de recetas de destilación (pasando de Transfer-Auto a Sim-Auto) también significa que los equipos pueden optimizar los modelos para una inferencia en streaming más rápida, haciendo que la evaluación de agentes en bucle cerrado local sea mucho más práctica en configuraciones de hardware modestas.

Qué hacer esta semana

1. Revisa el informe técnico y clona las habilidades abiertas relevantes para los puntos de control que coincidan con tu dominio, como Cosmos3-Nano-Sim-Bimanual para manipulación robótica o Transfer-Auto para diseños de sensores personalizados.
2. Verifica que tu infraestructura local o en la nube cumpla con los requisitos técnicos previos, asegurándote de que tus nodos de desarrollo estén configurados con Linux, Docker y el NVIDIA Container Toolkit.
3. Configura un pipeline de datos piloto para evaluar cómo tus formatos de captura en bruto existentes se mapean a los esquemas de control requeridos, como el diseño de acción mixta de 59 valores para encarnaciones bimanuales.

Fuentes

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog