AI Research 技术调研

NVIDIA Isaac Sim

16分钟阅读

一句话定位

NVIDIA Isaac Sim 是构建在 NVIDIA Omniverse / OpenUSD 之上的 GPU 光追机器人仿真与合成数据生成应用：2021 年 11 月中旬以”由 Omniverse 驱动”的形态首发，把 PhysX 物理与 RTX 实时光追渲染接入同一份 USD 场景，专门给感知模型造数据、给机器人策略做数字孪生测试；2025 年 8 月（5.0 版）在 SIGGRAPH 上开源（Apache-2.0），成为 Isaac Lab、Isaac GR00T 等整个 NVIDIA 机器人技术栈的仿真底座。

背景与定位

Isaac Sim 不是 NVIDIA 第一款机器人仿真工具——它与同期的 Isaac Gym（2021-08，NeurIPS D&B）以及更早的 Isaac SDK 是三条并行但目的不同的产品线。Isaac Gym 是轻量的、只做刚体的、direct-GPU-tensor-API 的 RL 专用仿真器（现已 deprecated，官方引导迁往 Isaac Lab/Isaac Sim）；Isaac Sim 则是重量级的、构建在通用图形平台 Omniverse 之上的 OpenUSD 原生应用，目标覆盖合成数据生成、数字孪生、ROS 集成等更宽的机器人开发场景，代价是需要 RTX 级 GPU（详见 Infra 节）。

根据 NVIDIA 2021-11 的官方博客，“NVIDIA Isaac Sim 的新版本将于 11 月中旬发布，带来新的合成数据生成功能与大量增强”；Wayback Machine 存档（2021-11-12）显示当时首页文案是”NVIDIA Isaac Sim, powered by Omniverse, is a scalable robotics simulation application and synthetic data generation tool”，GA（搭载 Omniverse Replicator 的正式版）标注为”Coming Soon”。也就是说，本条目对应的是 Isaac Sim 从 Omniverse 早期生态里第一次公开亮相（open beta 走向 GA 的节点），而非某一篇论文。

后续版本演进（均见官方文档/博客）：Isaac Sim 4.5 做过一轮 extension 改名；2025-06 Isaac Sim 5.0 先以 developer preview 形式发布，2025-08 SIGGRAPH 期间正式 GA 并开源 Isaac Sim 专属 extension（Apache-2.0，Omniverse Kit 内核仍闭源）；截至本次调研（2026-07），文档站点上的当前版本是 Isaac Sim 6.0。范式定位上，Isaac Sim 是 NVIDIA “物理 AI” 管线里的共享虚拟环境底座：建场景（USD）→ 仿真物理/传感器 → 生成合成数据或跑策略评测 → sim-to-real 部署；它是 Isaac Lab（原 Orbit） 的仿真承载层，也是 Isaac GR00T 等人形基础策略的训练/评测环境，并接收 Cosmos 系列世界模型生成的合成数据增强。

模型架构

Isaac Sim 不是神经网络模型，“架构”指其仿真系统架构。

平台底座：基于 NVIDIA Omniverse Kit SDK 的可扩展应用（extension 架构，C++/Python 均可写 extension）；场景统一用 OpenUSD 描述，所有外部资产需转换为 USD 才能使用，默认单位为米。GUI、无头（headless）Standalone Python、以及可视化脚本语言 OmniGraph 是三条并行的交互方式。

物理：2021 首发时对外宣传的是 “GPU-enabled physics simulation with PhysX 5”；当前文档中物理引擎仍是 NVIDIA PhysX SDK，覆盖刚体仿真、角色控制、可变形体仿真（FEM）、粒子仿真与关节链（articulations）；碰撞近似支持凸包、凸分解、包围球/包围盒与 SDF 碰撞网格；官方建议只有仿真数百个刚体/机器人规模以上才值得切到 GPU 求解器，否则 CPU 求解器更高效。2025 年起另有开源的 Newton 物理后端可选——由 NVIDIA、Google DeepMind、Disney Research 联合开发、Linux Foundation 托管，基于 NVIDIA Warp + OpenUSD，面向机器人优化，兼容 MuJoCo Playground 与 Isaac Lab，目前 Beta 可用。

渲染与传感器：RTX 实时光线/路径追踪渲染，支持多传感器规模化渲染。传感器库含相机与深度传感器（含结构光相机）、RTX Lidar/Radar（在 GPU 上随渲染同步仿真，需 RTX 硬件）、RTX 声学传感器，以及物理类传感器（contact、IMU、effort、joint-state、proximity、raycast）与历史遗留的 PhysX SDK 传感器（generic/lidar/lightbeam）。材质用 NVIDIA Material Definition Language（MDL）定义物理级外观。

资产导入与机器人建模：URDF、MJCF、Onshape、CAD 转换器（Catia/Solidworks/AutoCAD/Creo/STEP）、OBJ/FBX/glTF、ShapeNet 均可导入并自动转 USD；2021 年首发即支持 URDF 导入、Onshape/STEP 导入和 ShapeNet 导入。5.0 版引入统一的机器人 OpenUSD schema（与 Hexagon Robotics、maxon 联合开发关节摩擦/执行器模型），标准化了机器人定义，减小 sim-to-real gap；同版本还引入 OmniSensor USD schema，把 RTX 传感器定义直接写进 USD。

ROS/中间件桥接：ROS/ROS2 Bridge extension 是核心互联层（2021 首发即含 Isaac SDK & ROS/ROS2 接口）；5.0 版起全面支持 ROS 2 Jazzy Jalisco，新增 ZeroMQ（ZMQ）桥（isaac-sim/IsaacSimZMQ），并联合 Robotec.ai、Gazebo、Open 3D Engine 定义了跨仿真器的标准化 ROS 2 仿真接口。

神经重建（NuRec）：通过 NVIDIA Omniverse NuRec 与开源工具 3DGUT（3D Gaussian Splatting + 畸变相机/二级光线支持），可以把真实世界影像（甚至仅一部智能手机拍摄）重建为与 Isaac Sim 兼容的交互式 USD 场景，用于缩小仿真与真实的视觉差距。

下游应用层：Isaac Lab（GPU 并行 RL/IL 训练框架，见 isaac-lab-orbit）、Isaac Perceptor（移动机器人感知参考工作流）、Isaac Manipulator（含 cuMotion 运动规划与 Nvblox 局部三维重建的操控工具集）、Isaac TeleOp（真实+仿真示教采集）、OSMO（跨云的工作流编排平台，用于规模化 SDG）均构建在 Isaac Sim 之上。

数据

Isaac Sim 本身不训练模型，“数据”维度对应其资产库与合成数据生成（SDG）能力。

  • 资产库：官方 SimReady 资产集合覆盖仓储场景 800+ 个 3D 资产（叉车、托盘、货架等）；机器人资产库含 Nova Carter 等标杆机型；2021 首发即预置 UR10、Franka Emika Panda（Leonardo）、低成本 DofBot 等机械臂，以及 NVIDIA Carter 移动机器人的仓库导航示例。
  • 2021 首发 SDG 实例（叉车尖齿避障）：用 8 款不同的 3D 叉车 USD 模型，通过 Replicator 对颜色、纹理、光照、相对相机的位置与 yaw/pitch/roll 做域随机化，用新发布的 Omniverse Farm（多 GPU、多 agent 的算力编排层）生成了超过 90,000 张图像，导出带深度与语义分割真值标注，经 TAO Toolkit 迁移学习训练检测模型，再通过 DNN Inference Isaac ROS GEM 部署到 Jetson 平台——用于让自主移动机器人（AMR）识别叉车尖齿从而避免碰撞。
  • 当前 Replicator 标注能力：2D/3D 边界框、语义/实例分割掩码、法线、深度、点云等，导出格式含 COCO、KITTI（2021 首发时已支持 KITTI），支持自定义 annotator/writer（如姿态估计）。
  • 5.0 版新增 SDG 扩展：MobilityGen（生成占据栅格图、机器人状态/位姿/速度/图像）、抓取数据生成（自动生成抓取候选、仿真每次抓取尝试并记录成功率）、面向 NVIDIA Cosmos Transfer 输入优化的 Replicator writer、Action and Event Data Generation（面向仓库/工厂等大规模室内场景的场景演员/物体/物理事件生成，配 VLM Scene Captioning 自动生成标注文本）。
  • NuRec：真实采集（智能手机或传感器）→ 交互式 USD 场景，作为 sim2real 的数据来源之一，而非纯程序化合成。

训练方法

Isaac Sim 自身不训练策略，而是承载多条训练/测试工作流：

  • 合成数据 → 感知模型训练：如上文叉车检测案例，域随机化生成数据 → TAO Toolkit 迁移学习 → 部署评测，形成”生成数据→训练→评测→再生成数据”的数据中心（data-centric）迭代闭环。
  • 强化学习 / 模仿学习：由构建于其上的 Isaac Lab 提供 GPU 并行环境（吞吐等具体数字见 isaac-lab-orbit 独立条目）；Isaac TeleOp 支持从真实世界与仿真中采集示教用于模仿学习。
  • Software-in-the-Loop / Hardware-in-the-Loop：SIL 用于调参与验证机器人软件栈；HIL 示例——仿真相机数据经 ROS 2 桥实时流给一台真实的 NVIDIA Jetson Orin 嵌入式设备跑视觉栈，用于在物理机器人搭建前验证目标部署硬件是否可行。
  • 多机器人导航测试：可用多 GPU 配置支持多机器人同时跑 ROS 2 Nav2 stack 的导航测试。
  • AI 模型评测：仿真里可直接拿物理状态/传感器读数作为 ground truth，与模型预测比对得到评测指标（适用于视觉、Lidar 等多模态任务）。

Infra（训练 / 推理工程）

2021 年首发页面未披露具体硬件规格数字；以下为文档站点当前（Isaac Sim 6.0，2026）公开的规格与实测 KPI：

硬件需求（官方 Requirements 页）：

  • 工作站 GPU：最低 GeForce RTX 4080（16GB VRAM）→ 推荐 RTX 5080（16GB）→ 理想 RTX PRO 6000 Blackwell Workstation（48GB VRAM）
  • 数据中心 GPU：最低 A40 → 推荐 L40S/L20 → 理想 RTX PRO 6000 Blackwell Server
  • 不支持无 RT Core 的 GPU（A100、H100 明确排除）
  • CPU/内存/存储：最低 4 核/32GB RAM/50GB SSD → 理想 16 核/64GB RAM/1TB NVMe SSD
  • 系统：Ubuntu 22.04/24.04 或 Windows 11；aarch64 目前仅支持 NVIDIA DGX Spark（DGX OS 7），且该平台上 cuRobo/cuMotion 不可用
  • 官方 FAQ 确认支持多 GPU 扩展以加速仿真；容器仅支持 Linux；云部署覆盖 AWS/Azure/GCP/阿里云/腾讯云/火山引擎/百度云，以及 NVIDIA Brev 一键 GPU 实例

启动与包体积（参考机：Intel i9-14900K + 32GB DDR5）：

  • 启动时间（异步）：冷启动 31.472 秒，Shader 已缓存时 6.31 秒；非异步：冷启动 263 秒，缓存后 4.43 秒；典型值 10–30 秒
  • Windows 二进制包 9.90 GB，Linux 二进制包 12.2 GB，Docker 容器（解压前）9.97 GB

KPI 基准（isaacsim.benchmark.services 扩展实测，600 帧均值，Windows/Ubuntu）：

GPUFull Warehouse FPS物理步频 (Hz)Isaac ROS Scene FPSSDG 简单/复杂 (img/s)
RTX 5080（工作站，×1）155.52 / 161.5532.95 / 31.4328.34 / 46.5624.54–40.83 / 8.86–13.77
RTX PRO 6000 Blackwell（工作站，×1）159.72 / 153.3332.51 / 35.4047.55 / 51.9429.27–41.37 / 9.57–14.24
L40（服务器，×1/×4/×8）182.48 / 151.75 / 120.3430.6 / 31.53 / 33.0544.62 / 40.00 / 36.40未披露
RTX PRO 6000 Blackwell Server（×1/×4/×8）193.05 / 173.01 / 168.9235.13 / 34.88 / 34.46109.77 / 105.82 / 97.47未披露

（服务器 GPU 参考机：2× Intel Xeon 8362 + 1024GB DDR4，Ubuntu 24.04；FPS 随 GPU 数增多而下降，因为该 KPI 衡量的是单场景在多 GPU 系统上的渲染吞吐而非跨 GPU 汇总。）

RTX Lidar/Radar 传感器渲染与主相机共享同一条 RTX 渲染管线，因此传感器仿真吞吐随 GPU 渲染性能而非独立的物理管线扩展。

评测 benchmark

Isaac Sim 是仿真基础设施而非可训练模型，没有 ML 任务榜单意义上的 benchmark；上表的 KPI 基准套件（官方可用 standalone_examples/benchmarks 脚本复现）是文档站点给出的性能对照，而非精度/成功率类评测。

生态采用是另一种”验证”信号：据 2025-08 GA 博客，Amazon Lab126、Boston Dynamics、Figure AI、Haply Robotics、Hexagon、RAI Institute、Resim.ai、Lightwheel、Skild AI 等采用 Isaac Sim / Isaac Lab 加速其机器人研发；2021 年首发期的案例是 Trimble 用 Isaac Sim 生成合成数据训练 Boston Dynamics Spot 机器人（官方博客链接，未展开具体指标）。

创新点与影响

  • 2021 时点的创新：把 NVIDIA 的机器人仿真从 Isaac SDK/Isaac Gym 一代的专用工具，迁到通用图形平台 Omniverse/OpenUSD 上——换来 RTX 光追带来的照片级真实感、与 CAD/DCC 生态互通的 USD 格式、以及 Omniverse Nucleus/Connector 支持的协同建场景能力；代价是从此绑定 RTX 级 GPU（大规模无 RT Core 的数据中心 GPU，如 A100/H100，官方明确不支持）。
  • 成为 NVIDIA Isaac 技术栈的仿真底座：Isaac Lab 承接其上做 RL/IL 训练，Isaac Perceptor/Isaac Manipulator 承接感知与操控参考工作流，Isaac GR00T 等人形基础策略在其中训练评测，并接收 Cosmos 系列世界模型生成的合成数据增强——从单一仿真应用演变为整条物理 AI 管线的公共基础设施。
  • 开源转型：2025-08（5.0 版，SIGGRAPH）把 Isaac Sim 专属 extension 开源到 GitHub（Apache-2.0），是相对 2021 首发时”免费但闭源”的 Omniverse 应用模式的重大转变；但 Omniverse Kit 核心组件仍闭源，官方 GitHub 仓库当前不接受外部代码贡献（README 原话）。
  • 官方自陈限制：不支持无 RT Core 的 GPU（A100、H100）；VRAM 低于 16GB 的 GPU 在渲染超过 16MP/帧的复杂场景时可能不足；aarch64 版本目前仅支持 DGX Spark 且 cuRobo/cuMotion 在该平台不可用。

原始链接

一手源存档（sources/）

关系图谱

反向链接