AI Research 技术调研

Newton: An Open-Source GPU-Accelerated Physics Engine for Robotics

12分钟阅读

一句话定位

Newton 是 NVIDIA、Google DeepMind、Disney Research 三家在 GTC 2025（2025-03-18）联合宣布、后交由 Linux Foundation 托管的开源 GPU 加速物理引擎：底座是 NVIDIA Warp（CUDA-X 的 Python kernel 框架），把 Warp 已弃用的 warp.sim 模块扩展、泛化并接管，以 Google DeepMind 新开源的 MuJoCo-Warp（MJWarp）为主后端，主打 GPU 原生计算、可微分（differentiable）、OpenUSD 资产描述与用户自定义可扩展性，目标是做机器人（尤其人形）学习的下一代统一仿真基座——与 mujoco-playground、NVIDIA Isaac Lab 等学习框架互通。它不是一个”训练出来的模型”，而是仿真基础设施（sim-infra）。

背景与定位

物理 AI（带传感器/执行器、能感知并作用于物理世界的机器人/具身智能）训练的核心瓶颈是 sim-to-real 差距 与 仿真吞吐：真机采集”观测-动作”代价高、探索有风险，而传统 CPU 物理引擎并行度低，跑不满大规模 RL。业界既有路线是把经典引擎搬上 GPU——MuJoCo 的 JAX 分支 MJX（配 mujoco-playground）、NVIDIA 的 Isaac Gym/Isaac Sim/Isaac Lab、PhysX、以及 Warp 内置的 warp.sim。这些各成孤岛：模型格式（URDF/MJCF/USD）不通、求解器无法互换、多数不可微、扩展新物理（软体/布料/颗粒）要改引擎内核。

Newton 的定位就是收口这些孤岛：跨厂商（NVIDIA + Google DeepMind + Disney，后加 Intrinsic）联合、Linux Foundation 中立治理的社区引擎，用统一的 Model/State/Control 数据结构 + 可插拔求解器后端，让同一个机器人资产能在 MuJoCo、XPBD、VBD、MPM 等不同求解器间切换与耦合。它明确承接 Warp warp.sim（官方已 deprecate warp.sim，把它的能力迁进 Newton），并把 DeepMind 的 MJWarp 作为一等后端。相较 mujoco-playground（是 MJX 之上的 RL 训练配方/环境集），Newton 是更底层的引擎/求解器层；相较 NVIDIA 自家 cosmos-predict 那类”学出来的世界模型”，Newton 是显式解析物理的数字孪生底座。Disney 首个落地场景是驱动其 Star Wars BDX 娱乐机器人角色平台。

模型架构

Newton 不含神经网络权重；其”架构”是引擎的软件栈与数据流。

分层栈（自底向上）

  • NVIDIA Warp：CUDA-X 加速库，用 Python 写 GPU kernel，是 Newton 全部计算的底座；Newton 扩展并取代其 warp.sim。
  • 求解器后端（可插拔，共 8 种）：MuJoCo（经 MJWarp，主后端，接触/关节动力学）、XPBD、VBD（Vertex Block Descent）、Featherstone（关节体递归动力学）、SemiImplicit、Kamino、ImplicitMPM（隐式物质点法，颗粒/沙/连续体）、Style3D（布料）。不同求解器可耦合（如 MPM 沙 + 刚体；VBD 布料/软体 + MuJoCo 刚体，见 mujoco_franka_vbd_cable_admm_solver、softbody_dropping_to_cloth 等示例）。
  • OpenUSD：用作资产/场景描述层，聚合机器人与环境数据；配合 Disney/DeepMind/Intrinsic/NVIDIA 联合定义的”机器人 OpenUSD 资产结构”。

核心数据结构与仿真环（docs overview 一手）

  • ModelBuilder：构建入口，从基元或导入资产装配。
  • Model：封装世界的物理结构与参数（刚体、关节、形状、物性）。
  • State：某时刻动态状态（位置/速度），求解器每步更新；可选 extended attributes 存派生量（如刚体加速度供传感器）。
  • Control：控制输入（关节目标、力矩）。
  • Contacts：由 Model.collide 产生的活动接触集，可带接触力等扩展属性。
  • Solver：用 state+control+contacts 推进物理、处理接触与约束。
  • Sensors：从 State/Contacts/site/shape 计算观测（含接触、tiled camera、IMU 示例）。
  • Importer：add_urdf / add_mjcf / add_usd 载入 URDF、MJCF、USD。
  • Viewer：gl / usd / rtx / rerun / viser / null 多后端可视化。

仿真环：ModelBuilder 构建/导入 → finalize 成 Model → 建 State/Control/Contacts 与传感器 → Model.collide 填接触集 → 步进求解器 → 更新传感器/渲染/导出。

可微分（differentiable physics）：可对仿真前向传播梯度（forward-mode 结果 + reverse-mode 梯度做反传），用于系统参数优化、可微仿真训练（diffsim 示例：ball / cloth / drone / spring_cage / soft_body / 四足 bear）。注意：MJWarp 后端自身”经 Warp 的可微分”尚未就绪（DeepMind 记为 mujoco_warp issue #500），可微能力主要来自 Warp 原生求解器路径。

支持的多物理与资产：刚体、关节体、接触/摩擦、软体（FEM/VBD）、布料（Style3D/VBD）、缆线/杆（cable 示例）、物质点法颗粒/流体（MPM）、SDF 碰撞、hydroelastic 接触（nut_bolt_hydro）、传感器（contact/tiled camera/IMU）、逆运动学（IK 求解器）。示例机器人含 Unitree G1、H1、ANYmal-D、Franka、Allegro/灵巧手、cartpole 等。

数据

Newton 是物理引擎而非学习模型，没有训练语料/权重。与”数据”对应的是它消费与产出的资产及规模化并行环境：

  • 输入资产格式：URDF、MJCF（MuJoCo XML）、USD/OpenUSD，经 Importer 转成统一 Model。
  • 示例/基准场景：仓库自带按类目组织的大量示例——basic（pendulum/urdf/shapes/joints/conveyor/heightfield/dzhanibekov 等）、robot（cartpole/G1/H1/allegro_hand）、cable、cloth（bending/hanging/style3d/twist/rollers/poker_cards）、IK、MPM（granular/anymal/two-way coupling/snow_ball/beam_twist/multi_material/viscous）、sensors、selection、diffsim、multiphysics、contacts（nut_bolt/brick_stacking/pyramid/rj45_plug）、softbody、kamino。
  • 规模化：为 RL 而生的大规模并行环境（同一场景成千上万个 world 在 GPU 上批量步进）；DeepMind MJWarp 提供 GPU 批渲染器，在 NVIDIA GPU 上以”每秒数百万帧（millions of frames per second）“光追渲染多相机多 world。
  • 动作标注/仿真真实性：不涉及数据集标注；sim-vs-real 由下游框架（Isaac Lab、mujoco-playground）承担 sim-to-real 迁移。

训练方法

Newton 本体不做模型训练；它是被训练管线调用的仿真引擎。相关”方法”是数值求解与其对学习的支撑：

  • 求解方法：按后端不同，涵盖 MuJoCo 接触求解、XPBD（extended position-based dynamics）、VBD（顶点块下降）、Featherstone 递归关节动力学、半隐式积分、隐式 MPM、Style3D 布料求解，可多求解器 ADMM 式耦合。
  • 对学习框架的接入：与 NVIDIA Isaac Lab（PyTorch，feature/newton 分支经 Newton 集成 MJWarp）和 MuJoCo Playground / MJX（JAX，见 mujoco-playground）互通，为大规模并行 RL 提供环境；也可作 MuJoCo 的近乎 drop-in 替换。
  • 可微仿真优化：通过 Warp 的可微路径对系统参数、控制/轨迹做基于梯度的优化（diffsim 示例），是相对纯 model-free RL 的另一条路线。
  • 关键超参/损失属于上层训练框架范畴，Newton 不规定。

Infra（训练 / 推理工程）

  • 底层加速：NVIDIA Warp（CUDA-X），GPU kernel 化并行；无需本地安装 CUDA Toolkit（Warp 内置）。
  • 硬件/软件要求（README 一手）：Python 3.10+；OS 为 Linux（x86-64/aarch64）、Windows（x86-64）或 macOS（仅 CPU）；GPU 需 NVIDIA Maxwell 或更新架构、驱动 545+（CUDA 12）；macOS 走 CPU。
  • 并行/精度：面向海量并行 world 的 GPU 批量步进；具体并行策略/数值精度（fp32/fp64 混用）未在一手博客/README 中逐项披露 → 未披露。
  • 推理/控制频率、延迟、边缘部署：作为通用引擎不给单一 FPS/控制 Hz 数字 → 未披露；吞吐以下方基准的相对加速与批渲染”每秒数百万帧”表征。MJWarp 支持 CPU 仅用于开发/调试。
  • 许可与治理：代码 Apache-2.0，文档 CC-BY-4.0；Linux Foundation 项目，治理见 newton-governance 仓库；pip install "newton[examples]" 安装。

评测 benchmark

Newton 无学术论文式的横向 benchmark 表；一手来源披露的是引擎吞吐与相对加速：

  • MuJoCo-Warp 加速（NVIDIA 官方博客）：MJWarp 经 Warp 加速带来人形仿真 >70x 加速、在手操作（in-hand manipulation）任务 100x 加速（博客原文表述为”significant performance gains”，未点明对比基线硬件）。
  • 批渲染吞吐（MJWarp README）：GPU 光追批渲染器在 NVIDIA GPU 上达”每秒数百万帧”，跨多个并行 world 同时渲染多相机。
  • 持续基准：MJWarp 对 unitree_g1_flat / g1_hfield / myoarm / ALOHA（clutter/pot/sdf/cloth）/ three_humanoids / cloth 等场景做**每晚基准（nightly benchmarks）**并公开发布。
  • 具体绝对 FPS/steps-per-second 数值随硬件与场景变化，一手材料未给统一表格 → 以上为官方披露口径。

创新点与影响

  • 跨厂商中立开源的引擎级协作：NVIDIA + Google DeepMind + Disney（+ Intrinsic）联合、Linux Foundation 托管、Apache-2.0，把此前分裂在 Isaac / MuJoCo / Warp 各自阵营的 GPU 物理仿真收进一个社区共建底座——这是本工作最大的行业意义（而非某个算法指标）。
  • 统一可插拔求解器 + 多物理耦合：8 种求解器共享 Model/State/Control，支持刚体-软体-布料-颗粒(MPM)跨介质耦合与自定义求解器/积分器扩展，覆盖”机器人抓食物/布料/变形物”等富接触长尾。
  • GPU 原生 + 可微 + OpenUSD：Warp kernel 化的 GPU 计算、可微仿真、OpenUSD 资产层三合一，并推动”机器人 OpenUSD 资产结构”标准化。
  • 承接 warp.sim、桥接学习框架：正式取代 Warp warp.sim，同时作 MuJoCo 近 drop-in 替换，向 Isaac Lab（PyTorch）与 MuJoCo Playground（JAX/MJX）双栈供能，成为人形机器人学习的通用仿真入口。Disney BDX 娱乐机器人是首个旗舰落地。
  • 自陈局限：GTC 宣布时（2025-03）“首个版本计划年内发布”，属预告+早期开放，非成熟稳定版；MJWarp 相对 MuJoCo 尚缺 IMPLICITFAST 中点积分器、PGS/noslip 求解器、PLUGIN 类执行器/传感器，Flex 变形仍实验性；MJWarp 经 Warp 的可微分尚未就绪（issue #500）。绝对性能数字依赖硬件、缺统一公开 benchmark 表。

原始链接

一手源存档（sources/）

关系图谱

反向链接