NVIDIA 发布用于交互式世界模拟的 Cosmos 3 开源模型

根据 Hugging Face 博客，NVIDIA 扩展了其 Cosmos 世界模型开发平台，在 Cosmos 3 模型系列中发布了四个新的开源权重检查点，旨在用于交互式世界模拟和多传感器驾驶场景。这四个模型都是基于 Cosmos 3 Nano 构建的后训练示例，拥有 160 亿个可训练参数，并根据 OpenMDW1.1 授权协议提供商业和非商业使用。

发生了什么

根据 Hugging Face 博客，此次发布包含四个专为特定模拟和生成工作流设计的不同检查点：

• Cosmos3-Nano-Transfer-Auto：用于离线合成驾驶数据生成的双向模型，支持多达 11 个相机视角、鱼眼镜头以及使用世界场景地图 (WSM) 控件的联合 RGB-LiDAR 生成。
• Cosmos3-Nano-Sim-Auto：Transfer-Auto 的因果蒸馏流变体，通过少量去噪步骤生成连续的相机视频和 LiDAR 块，以实现实时交互。
• Cosmos3-Nano-Sim-Transfer：该模型接收来自物理模拟器的空间控制和文本提示，以渲染策略所使用的颜色观测值。
• Cosmos3-Nano-Sim-Bimanual：用于双臂机器人（如 YAM 和 AgiBot 实体）的模拟器，使用 59 个混合动作控制值预测由机器人动作或人类操纵杆引起的演变环境。

在底层，这些模型利用混合 Transformer 骨干网，通过时间因果注意力将文本处理网络和视觉生成网络连接起来。后训练流程包含四个阶段：双向自适应、教师强制、一致性蒸馏和自强制，以防止在长 rollout 期间产生误差累积。运行这些架构需要 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit，基准测试在 GB200 系统上进行。

为什么这对小型 AI 团队很重要

对于从事机器人或自动驾驶的小型公司和智能体构建团队来说，开源权重基础世界模型大大降低了合成数据生成的准入门槛。构建强大的物理智能体通常需要海量的边缘案例场景数据集，而在现实世界中捕获这些数据的成本高昂且危险。借助 Cosmos 3 的开源权重和有据可查的后训练配方，小型团队可以将诸如 Transfer-Auto 的模型适配到其自定义传感器装备中，或者针对特定的机械臂微调 Sim-Bimanual，而无需从头开始训练基础视觉生成网络。蒸馏配方（从 Transfer-Auto 迁移到 Sim-Auto）的引入还意味着团队可以优化模型以实现更快的流式推理，从而使本地闭环智能体评估在适度的硬件设置上变得更加实用。

本周该做些什么

1. 查看技术报告并克隆与您的领域相匹配的检查点的相关开源技能——例如用于机器人操作的 Cosmos3-Nano-Sim-Bimanual 或用于自定义传感器布局的 Transfer-Auto。
2. 验证您的本地或云基础设施是否满足技术先决条件，确保您的开发节点配置了 Linux、Docker 和 NVIDIA Container Toolkit。
3. 设置一个试点数据管道，以评估您现有的原始捕获格式如何映射到所需的控制方案，例如双臂实体的 59 值混合动作布局。

来源

• New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog