AI Research 技术调研

Genesis: A Generative and Universal Physics Engine for Robotics and Embodied AI

16分钟阅读

一句话定位

Genesis 是 2024-12 由 20+ 机构学术协作开源的通用可微多物理仿真平台：把刚体 / MPM / SPH / FEM / PBD / Stable Fluid 等多套物理求解器统一进一个 100% Python 框架，官方口径称在单张 RTX 4090 上模拟 Franka 机械臂可达 4300 万 FPS（约比实时快 43 万倍），并宣布配套一个「用自然语言 prompt 自动生成场景 / 任务 / 奖励 / 策略 / 数据」的生成式仿真数据引擎（当时未随开源一起放出）。它是 2024 年底最出圈、也最具争议的机器人仿真基础设施，后续由创始团队成立的 Genesis AI 接手演进为 Genesis World。

背景与定位

Genesis 属于**机器人 / 具身 AI 的仿真基础设施（sim-infra）**赛道，直接对标 NVIDIA Isaac Gym/Sim/Lab、DeepMind mujoco-mjx 这一代 GPU 加速仿真器，同时又想把「多物理耦合 + 可微 + 生成式数据」三件事塞进同一个栈里。它不是一个模型，而是一套仿真引擎 + 渲染器 + （规划中的）生成式 agent 框架。

官方在 Dec 2024 的定位原文把 Genesis 说成「同时是多个东西」：

  1. 一个从零重建的通用物理引擎，能模拟大范围材料与物理现象；
  2. 一个轻量、极快、pythonic、易用的机器人仿真平台；
  3. 一个强大而快速的照片级光线追踪渲染系统；
  4. 一个把用户自然语言描述转成多模态数据的生成式数据引擎。

其学术血脉清晰地体现在 README 的「Associated Papers」里——生成式仿真（RoboGen、Gen2Sim）、可微流体 / 软体（FluidLab、RoboNinja、SoftZoo、DiffuseBot、UBSoft、Thin-Shell Manipulation）、可微刚体 / 铰接体（Yi-Ling Qiao 的 scalable / articulated differentiable physics 系列）、可微触觉（DiffTactile）、运动生成（EMDM、TLControl）、场景生成（Architect）——Genesis 本质是把这批已有工作「整合进一个系统」。它与前作的关系可对照 robogen / gen2sim（生成式仿真数据流）和差分渲染器 LuisaRender。

定位上要点明的一个事实：Dec 2024 发布时没有技术报告 / 论文（官方原话「We are still working on a technical report」），所有性能声明都来自 README / 文档而非可复现的 benchmark 表——这也是它引发社区争议（10~80x 快于 Isaac Gym 的说法在 apples-to-apples 上被质疑）的根源。截至 2026 年，最接近技术披露的是 Genesis AI 的 Genesis World 1.0 博客（May 2026），但那已是重写后的商业版本。

模型架构

Genesis 不是策略网络，而是一套分层仿真引擎架构。这里按引擎组件拆解。

统一多物理求解器（Physics）。核心是一个从零重建的物理引擎，把多套 SOTA 求解器整合进同一个 scene / 同一份 state：

  • Rigid body（刚体 / 铰接体动力学，参考 MuJoCo）
  • MPM（Material Point Method，弹塑性 / 颗粒材料，参考 FluidLab 实现）
  • SPH（光滑粒子流体，参考 SPH_Taichi）
  • FEM（有限元，弹性可变形体 / 布料）
  • PBD（Position-Based Dynamics，快速布料 / 基于位置的液体）
  • Stable Fluid（烟雾 / 气体）
  • 以及跨求解器的显式耦合器（coupler），支持刚体 / 液体 / 气体 / 可变形体 / 薄壳 / 颗粒之间的相互作用与耦合。

材料与资产。支持刚体、液体、气体、可变形体、薄壳物体、颗粒材料的模拟与耦合；资产侧支持加载 MJCF(.xml) / URDF / .obj / .glb / .ply / .stl 等；机器人侧覆盖机械臂、足式机器人、无人机、软体机器人。

渲染（Render）。原生光线追踪照片级渲染，底层用 LuisaCompute / LuisaRender 的 ray-tracing DSL（Dec 2024 时的路径），另有 PyRender 光栅化路径。

可微性（Differentiability）。整体设计目标是全可微；Dec 2024 时只有 MPM solver 与 Tool Solver 支持可微，刚体 / 铰接体等其余求解器的可微化列为后续（0.x 路线）。

触觉（Tactile）。规划了物理精确且可微的触觉传感器仿真，Dec 2024 时标注「coming soon（预计 v0.3.0）」，血脉来自 DiffTactile。

计算后端 / 语言。100% Python，前端接口与后端物理引擎都用 Python 原生实现，底层编译走 Taichi（高性能跨平台 compute backend）；跨平台支持 Linux / macOS / Windows，多后端 CPU / NVIDIA GPU / AMD GPU / Apple Metal。并行仿真是其速度卖点的核心。

（规划中的）生成式 agent 框架。在物理引擎之上再叠一层生成式 agent framework，目标是「语言 prompt → 多模态数据」的全自动生成：interactive scenes / task proposals / rewards / assets / character motions / policies / trajectories / camera motions / （物理精确的）videos。Dec 2024 明确「先开源底层物理引擎与仿真平台，生成式框架近期释出」——即发布时生成式引擎并未开源。

演进（2026）：Genesis AI 把这套架构重写为 Genesis World——引擎拆成三块：物理平台 Genesis World、专为机器人自研的实时路径追踪渲染器 Nyx、Python→GPU 编译器 Quadrants（2025-06 从 Taichi fork 而来，替换掉原来的 Taichi 依赖）。物理侧新增对 libuipc 的 External Articulation Constraint（把关节空间动力学嵌进 IPC 优化，接触力与关节力同时求解）与 barrier-free elastodynamics（用增广拉格朗日替换对数障碍，接触密集场景比传统 IPC 快 up to 103×）。这些是 Dec 2024 landmark 之后的内容，仅作演进注记。

数据

Genesis 是仿真器 / 数据引擎本身，不像模型那样有「训练数据集」。它的「数据」维度体现在两处：

  • 它能生成什么数据：物理引擎产出各模态传感数据（RGB / depth / 触觉 / lidar 等）与轨迹；规划中的生成式引擎目标是用自然语言 prompt 自动生成交互场景、任务提案、奖励函数、资产、角色动作、策略、轨迹、相机运动与物理精确视频——即「让 data flywheel 自转」的自动化数据生成。Dec 2024 时这部分是愿景 + 部分演示，未随开源放出可复现的数据规模数字。
  • 它消费什么资产：靠加载 MJCF / URDF / mesh（.obj/.glb/.ply/.stl）构建场景，无固定数据集。

具体的规模数字（帧数 / 轨迹数 / 数据配比）在 Dec 2024 的一手源里未披露——因为生成式数据引擎当时未开源。可对照的量化数据要到 Genesis World 1.0（2026）才有，且那是评测口径（见下）而非训练数据集。

训练方法

不适用传统意义的「模型训练」。Genesis 作为仿真平台，服务的是下游 RL / 模仿学习训练：官方演示强调用它在单卡上做机器人 locomotion 策略训练（RL），并宣称策略可迁移到真机。其自身的「方法」是仿真加速与并行化，而非某个训练 objective。

需要记录的一手事实：Dec 2024 README 的 Key Features 只给了 speed / 可微 / 跨平台 / 求解器覆盖等能力声明，没有给出训练 pipeline、超参、或可复现的策略训练 benchmark 表。README 提到的「26 秒训练 locomotion 策略」等更具体数字未在本次抓取的 Dec 2024 一手源（Wayback 文档页 + GitHub README 快照）中出现，故不采信。

Infra（训练 / 推理工程）

一手源披露的工程数字（均为 Dec 2024 官方口径，无可复现方法学）：

  • 仿真吞吐：单张 RTX 4090 模拟 Franka 机械臂 > 4300 万 FPS，官方称约比实时快 43 万倍（430,000×）。
  • 相对速度声明：宣称比现有 GPU 加速机器人仿真器（Isaac Gym/Sim/Lab、MuJoCo MJX 等）快 10~80×，且「不牺牲仿真精度与保真度」。⚠️ 此声明无配套 benchmark 表 / 未公开测试方法学，发布后被社区（含 NVIDIA 研究者）质疑在 apples-to-apples 刚体仿真上并不成立——研究库需明确标注这是官方宣称值而非独立复现值。
  • 硬件 / 后端：跨平台 Linux / macOS / Windows；compute backend 支持 CPU、NVIDIA GPU（CUDA）、AMD GPU、Apple Metal；底层编译经 Taichi。
  • 并行：核心卖点是大规模并行仿真（parallelized simulation），但 Dec 2024 未给出具体 env 数 / 显存占用 / 每步 latency 数字。
  • 训练 GPU 集群 / GPU-hours / 并行策略 / 精度：不适用（Genesis 是仿真器，不是被训练的模型）——未披露且无此维度。

演进（2026，Genesis World 1.0 博客口径，非 Dec 2024）：Quadrants 编译器在操作 / 运动 benchmark 上比原实现快 up to 4.6×；用 kernel graph 记录整个 physics step、三层编译缓存把启动从分钟级降到秒级（>10× 加速）；Nyx 目标在高端消费级 GPU 上渲染 1080p 无噪帧 ≤ 4 ms。这些是重写版本的数字。

评测 benchmark

Dec 2024 landmark 版本：无正式 benchmark。 一手源（文档页 + GitHub README 快照）没有任何量化评测表，只有上述性能宣称（43M FPS / 430,000× 实时 / 10~80× 快于 Isaac Gym）。官方明确技术报告仍在撰写中。故就 Dec 2024 而言，Genesis 的「评测」= 一组未经独立复现的速度声明 + 大量演示视频，缺可复现的对照实验——这是它作为 landmark 的最大短板，研究库须如实标注。

演进版（Genesis World 1.0，May 2026 博客口径，供对照，非本页主体）：Genesis AI 把评测重心从「速度」转向「sim-to-real 可信度」，给出了有方法学的数字：

  • 仿真评测与真机 rollout 的相关性 89%；reality gap（按其数据集 FID 计）比次优仿真器小 45%。
  • 在 Small/Medium/Large 三个模型、14 个任务、每任务 200 episodes、1,000,000 次 bootstrap 下：Pearson 相关 0.8996（95% CI [0.7439, 0.9314]）、MMRV 0.0166（SimplerEnv 指标，95% CI [0.0102, 0.0474]）。
  • 数万 episodes 的一整轮评测在仿真里 < 0.5 小时跑完（真机需 200+ 小时），且结果 bit-exact 可复现。
  • barrier-free elastodynamics 在接触密集复杂场景比传统 IPC 快 up to 103×（仍保证无穿插）。

（以上 1.0 数字来自商业化重写版本，与 Dec 2024 开源 landmark 不是同一套代码，引用时须区分。）

创新点与影响

贡献：

  1. 把多物理求解器 + 可微 + 生成式数据「装进一个 Python 栈」的野心——刚体 / MPM / SPH / FEM / PBD / 流体共享同一 scene 与 state、显式耦合，且 100% Python 前后端、跨 4 类 compute backend，这种「大统一 + 极简 API」在 2024 年的开源仿真里是新的组织方式。
  2. Apache-2.0 全开源 + PyPI 一行装（pip install genesis-world），把高保真多物理仿真的使用门槛压到极低，短期内成为社区热点（GitHub 迅速冲上 star 榜）。
  3. 生成式仿真数据引擎的叙事——「语言 prompt → 场景 / 任务 / 奖励 / 策略 / 数据全自动生成」把 RoboGen / Gen2Sim 一脉的思路产品化，定义了「data flywheel 自转」的具身数据愿景，影响了后续一批 generative-simulation 工作。

它改变了什么：让「开源、易用、跨平台的多物理机器人仿真」成为一个被广泛讨论的可能性，并把仿真从「纯数据生成器」的定位往「评测 + 迭代引擎」推（这一转向在 Genesis World 1.0 博客里被明确阐述为核心方法论）。

局限（含一手源自陈 + 事实性缺口）：

  • 发布时无技术报告 / 无可复现 benchmark，43 万倍实时、10~80× 快于 Isaac Gym 等核心声明缺公开方法学，社区对其 apples-to-apples 速度提出质疑；这些应作为「官方宣称值」而非既成事实引用。
  • 生成式数据引擎发布时并未开源（官方称近期释出），landmark 的「生成式」半边当时不可用。
  • 可微性 Dec 2024 仅覆盖 MPM / Tool Solver，触觉传感器为 coming soon（v0.3.0）——即多项旗舰能力当时是路线图而非落地。
  • 后续项目重心迁移到商业化 Genesis AI / Genesis World，原 Genesis-Embodied-AI/Genesis 仓库改名 genesis-world，学术版与商业重写版之间存在断层，引用数字需分清版本。

原始链接

一手源存档（sources/）

关系图谱

反向链接