AI Research 技术调研

Marble: A Multimodal World Model

13分钟阅读

一句话定位

Marble 是李飞飞创办的 World Labs 的首款商业化”大世界模型”产品：从文本 / 图像 / 多图 / 视频 / 粗糙 3D 布局，生成持久、可自由漫游、可编辑、可下载的 3D 世界（3D Gaussian Splat + 网格），2025-11-12 面向所有人正式开放，并同时开放按信用点计费的 World API。

背景与定位

World Labs 由李飞飞 2024 年创立，主张”空间智能（spatial intelligence）是 AI 的下一个前沿”，世界模型应能”重建、生成、模拟 3D 世界，并让人和 agent 与之交互”。Marble 的技术定位与同期一批世界模型形成鲜明对照：

  • 与自回归交互式视频世界模型（genie-3、skywork-matrix-game-2、tencent-hunyuan-gamecraft）不同：Genie 3 类模型逐帧自回归生成、边走边”梦”出世界、存在漂移与有限记忆窗口。Marble 反其道而行——一次性生成一个几何一致、持久存在的静态 3D 场景（Gaussian splat / mesh），“想探索多久探索多久，没有时间限制、没有形变、没有前后不一致”，代价是场景本身不含动态与可交互物理（动态目前只能通过导出视频后的 enhance 补上）。
  • 与 gaia-2-wayve / cosmos-predict 这类面向自动驾驶 / 机器人的可控视频世界模型不同：Marble 面向创作者（游戏、影视 VFX、空间设计、机器人仿真场景搭建），产物是可导出、可在第三方引擎里用的 3D 资产，而非闭环仿真视频。
  • 与 deepmind-sima2（在世界里行动的 agent）互补：Marble 造世界，SIMA 类 agent 在世界里行动；World Labs 明确把”interactivity（让人与 agent 与生成世界交互）“列为下一步。

范式命名：“面板全景 → 3D 高斯泼溅提升”的生成式持久 3D 场景世界模型（generative persistent-3D-scene world model）。这是 2025 年”世界模型”两条主线（自回归视频流 vs. 一次性 3D 场景）中的 3D 场景一支的商业化标杆。Marble 前身是 2025-09-16 的 beta 预览（“Generating Bigger and Better Worlds”），更早可追溯到 2024-12 的首个 3D 世界生成 demo。

模型架构

World Labs 作为闭源商业公司未披露 backbone 网络结构、参数量、latent/tokenizer 等模型内部细节。但官方 API 文档披露了明确的两阶段推理流水线与产物表征，可据此还原架构骨架：

两阶段生成流水线（API pricing / FAQ 明确披露）

  1. 全景生成（Pano generation）：World Generation API “需要一张全景（equirectangular pano）图来转成 3D 世界”；若输入不是全景，则先从输入（文本/图像/多图/视频）生成一张全景图。图像输入默认 is_pano:"auto"，检测到合法等距柱状全景则跳过此步。每个生成结果都会带回这张全景（assets.imagery.pano_url）。
  2. 3D 世界生成（World generation from pano）：把全景提升为持久 3D 场景，输出 3D Gaussian Splat。

输出表征（多表征、可导出）

  • 3D Gaussian Splat（最高保真表征）：SPZ 格式，提供 100k / 500k / full_res 三档高斯点数；附 semantics_metadata（metric_scale_factor 原始单位→米、ground_plane_offset 地面归零到 y=0）。坐标系为 marble_raw_opencv，Web viewer 对生成 SPZ 施加绕 X 轴 180° 旋转。可导出 PLY（免费缓存）。
  • 网格：collider_mesh（低保真、用于粗物理碰撞，GLB）与 hq_mesh（高保真贴图，尽量逼近 splat 视觉）/full_res_mesh（全分辨率顶点着色），一次 HQ mesh 导出同时产出 textured 与 vertex_colored 两个变体。
  • 全景图 / 视频 / 缩略图 / AI caption。

多模态输入 & action/条件化（这里的”条件”是创作控制而非机器人动作）

  • 单图 / 文本 / 多图（每张图带 azimuth 方位角：0 前 / 90 右 / 180 后 / 270 左，用于把不同视角图拼成统一世界并补全过渡）/ 视频 / 粗糙 3D 布局（Chisel）。
  • Chisel（3D 雕刻）：把结构与风格解耦——粗糙 3D 场景（box/plane 或导入的 3D 资产）决定结构，文本 prompt 决定风格，两者任意组合。
  • 编辑 / 扩展 / 合成：AI-native 局部/大改编辑（换物、改风格、重构）；一步 expansion 选区扩大世界并修复 artifact；composer 模式把任意多个世界按用户布局拼成超大空间。

一致性/记忆机制来自”一次性生成完整持久 3D 几何”这一根本设计（而非自回归记忆窗口），因此天然无漂移。具体网络（DiT/扩散/AR）、latent 维度、全景与 splat 的具体生成器结构均未披露。

数据

训练数据（来源、规模、配比、清洗、标注）World Labs 完全未披露——无论博客还是 API 文档都未提及训练语料的小时数/帧数/场景数、来源、真实 vs 仿真配比或过滤策略。这是与开源世界模型（如 cosmos-predict 系列公开数据管线）最大的信息差。

可间接观察到的数据相关事实：

  • 模型”设计用于生成 3D 环境而非孤立/居中的物体（人、动物）“（预览博客自陈），暗示训练侧重室内外场景。
  • 支持从少量真实照片/短视频重建带真实空间元素的世界（多图 to world），说明训练覆盖真实空间到 3D 的提升能力。
  • 覆盖极广风格（写实、卡通、动漫、sci-fi、奇幻、low-poly），说明训练/条件化覆盖多艺术风格。

训练方法

训练目标、多阶段管线、RL/模仿、蒸馏、关键超参均未披露。 World Labs 未发表任何论文或技术报告，仅有产品博客与开发者文档。可确认的仅是产品层面的能力演进（beta 预览 → GA），而非训练方法学。此处按一手源如实标注 未披露。

Infra（训练 / 推理工程）

训练 Infra（GPU 型号/数量、GPU-hours、并行、精度）：未披露。

推理工程（API 文档披露的可量化事实）：

  • 单次世界生成约 5 分钟完成（异步 Operation + 轮询）。
  • 吞吐/限流：默认账户 ~3 req/min、~60 req/hour（世界生成 start）；审批后的高吞吐账户 ~30 req/min（标准）、~90 req/min（draft）。超限返回 429。
  • 世界大小自适应算力：marble-1.1-plus 在基础世界生成之外，系统在推理时自动判断是否追加 0–1,500 信用点的”可变世界生成”（更大的室外/大型室内空间消耗更多算力），说明推理侧算力随世界规模弹性伸缩。
  • 渲染侧：产物为浏览器可实时渲染的 3D Gaussian Splat；官方开源渲染器 Spark（集成 THREE.js，跨桌面/笔记本/移动/VR 头显）；Spark 2.0 进一步支持 Web 上可流式的 LOD（Level-of-Detail）3DGS。生成的 3D 世界支持浏览器内零成本自由视角漫游。
  • 边缘/端侧控制频率、FPS、延迟等机器人式指标不适用（Marble 是离线生成 + 实时渲染，而非闭环控制模型）。

评测 benchmark

无定量 benchmark。 World Labs 未提供任何量化评测表、baseline 对比或指标数字——既无 FID/几何一致性指标，也无与竞品的对照实验。一手材料对质量的论证完全依赖演示视频 + 用户证言（“过去要数周数月的工作现在几分钟搞定""能生成超写实也能生成卡通/动漫世界”）。博客自称”state-of-the-art / first-in-class / frontier”但未给出可复核的量化支撑。作为知识库如实记录：该条目无一手定量评测。

可量化的仅为产品/商业参数（见 Infra 与下）：SPZ 100k/500k/full_res 三档、生成 ~5 min、API 单世界标准档 1,500 信用点（约 $1.2）等。

创新点与影响

贡献

  1. 首个商业化通用”多模态大世界模型”产品：把 text/image/multi-image/video/coarse-3D 五类输入统一提升为持久、可导出、可编辑的 3D 高斯世界，并以 SaaS + API 形态开放。
  2. 持久 3D 场景 vs 自回归视频流的路线选择：以”一次生成几何一致的静态 3D 场景”绕开自回归世界模型的漂移/记忆瓶颈，换来可自由漫游、可拿进 Unreal/Three.js 等引擎的真实 3D 资产（SPZ/PLY/GLB）。
  3. 结构-风格解耦的创作范式（Chisel） 与 expansion/composer 的世界拼装工作流，把”世界生成”变成可迭代编辑的创作管线。
  4. 开源渲染基建 Spark（3DGS on the web / VR），降低生成世界的分发与集成门槛。
  5. 透明的信用点计费体系（1,250 credits=$1；标准世界 1,500 credits≈$1.2；HQ mesh 导出 3,500 credits=$2.8；Plus 档按世界大小弹性 $1.2–2.48，即 1,500–3,100 credits，实测中位约 $1.28、均值 $1.71）。

改变了什么：把”生成 3D 世界”从研究 demo 推进到人人可用、可下载、可商用的产品，为游戏/影视预演/空间设计/机器人仿真场景搭建提供了新的一等资产来源。

自陈局限（一手源承认）

  • 预览期明确：模型面向环境/场景，不擅长孤立居中的物体（人、动物、自拍、宠物）。
  • 生成世界本身静态无动态/物理：动态元素（火焰、水流、烟）只能在导出视频后的 enhance 阶段补上，非世界内交互。
  • 交互性缺席：World Labs 自陈”interactivity 是下一步”，当前 Marble 不支持人/agent 在世界内实时交互或改变世界状态。
  • 生成慢（~5 min/世界）、默认限流严（3 req/min）。
  • 透明度低：无论文、无技术报告、无架构/数据/训练/评测披露，无法独立复核质量主张。

原始链接

一手源存档（sources/）

关系图谱

反向链接