AI Research 技术调研

WonderJourney: Going from Anywhere to Everywhere

19分钟阅读

一句话定位

WonderJourney（CVPR 2024，Stanford + Google Research）是一个**完全训练无关（training-free）**的模块化流水线：给定一张图像或一句文本作为起点，用 LLM（GPT-4）循环生成下一个场景的文字描述、用文本引导的点云生成模块把描述”画”成几何连贯的下一段 3D 场景、再用 VLM（GPT-4V）做视觉校验来剔除瑕疵，如此往复，最终渲染出一段跨越多种风格与场景类型、可以”从任何地方走到任何地方”的无穷 3D 漫游视频（作者称之为一次”wonderjourney”）。它把此前局限于单一场景域（自然风光）或单一场景（洞穴状网格）的”感知视角生成”任务，扩展为可跨域、跨风格、语义多样但几何连贯的”永续 3D 场景生成（perpetual 3D scene generation）“。

背景与定位

感知视角生成（perpetual view generation）的开山之作是 Infinite Images（2010），通过拼接和渲染图像模拟穿越 3D 世界的视觉效果；后续 Infinite Nature 与 InfiniteNature-Zero 学习基于当前视角自回归生成下一视角，但只在自然风光这一单一场景域内训练；SceneScape 走文本驱动路线，用一段带纹理的长网格逐步构建单一洞穴状场景。这些工作都被限定在单一域（自然风光）或单一场景（一个洞穴）内。WonderJourney 提出的新任务”永续 3D 场景生成”要求同时具备几何一致性（长程相机轨迹下场景间正确衔接、遮挡/去遮挡、视差）与语义多样性（从任意起点合理地过渡到多种不同类型的后续场景，如从村庄到雪原到城市），这是此前工作未曾覆盖的挑战组合。

论文同时把自己与另外两条邻近技术路线区分开：(1) 3D 物体/单场景生成（DreamFusion、Zero-1-to-3、Text2Room、GeNVS、ZeroNVS 等）——这些方法生成单个物体或单个场景，不涉及跨场景的连续过渡；(2) LLM 脚本驱动的多幕视频生成（TaleCrafter、VideoDirectorGPT 等）——这些方法把不同场景渲染为视频中的不同”硬切”片段，而 WonderJourney 追求场景之间在几何上真正连续衔接、无硬切。整个系统不训练任何新网络权重，而是把 LLM、VLM、深度估计器（MiDaS v3.1）、分割模型（SAM、OneFormer）和文本引导的图像外扩模型（Stable Diffusion 2 inpainting）作为现成组件编排起来，是”用大模型能力编排出世界模拟系统”这一路线在 3D 场景生成侧的早期代表。

模型架构

WonderJourney 不是一个端到端训练的神经网络，而是三个模块循环迭代的流水线（对应论文 Fig. 2）：

1. 场景描述生成（LLM）：自回归地生成下一场景描述 S_{i+1} = g_description(J, M_i)，其中任务指令 J 固定为”你是一个智能场景生成器……请生成下一个场景中最常见的 3 个实体，并附上简短背景描述”，场景描述记忆 M_i = {S_0, …, S_i} 是此前全部场景描述的累积集合。每个场景描述定义为 S_i = {风格 S（跨场景保持一致）、实体 O_i、背景描述 B_i}；用词性过滤器只保留实体的名词与属性的形容词——论文消融发现这比让 LLM 直接输出结构化字段生成的场景衔接更连贯。LLM 用 GPT-4。

2. 视觉场景生成模块 g_visual(I_i, S_{i+1}) → 新场景点云 P_{i+1}：

  • 图像转点云：用单目深度估计器 MiDaS v3.1 估计当前场景图像 I_i 的深度，按针孔相机模型反投影为点云。
  • 深度精修：针对单目深度估计器两个通病——物体边界深度不连续被过度平滑、天空深度被系统性低估——引入两处修正：(a) 用 SAM 生成像素分组分割 seg_j（按面积降序排列），对视差范围 ΔD_j 低于阈值 T=2 的分割段（用 30%/70% 分位数代替 min/max 计算视差范围以提升对分割误差的鲁棒性）用中位数深度整体替换，实现”正面平面”近似；(b) 用 OneFormer 分割天空区域并赋固定深度值 0.025，同时对天空边界做腐蚀+二次 SAM 精修+外扩掩码膨胀以缓解边界误差；此外设远景截断平面 F=0.0015，并因 MiDaS 深度具有平移不变性而手动加 0.0001 的深度偏移防止近处物体坍缩到光心。
  • 描述引导的外扩生成：在当前相机 C_i 附近放置新相机 C_{i+1}（刻意留出足够空白区域），渲染出局部图像后用 Stable Diffusion（2 inpainting）作为文本引导外扩器，依据 S_{i+1} 生成完整的新场景图像 I_{i+1}，再反投影得到新增点集 P’{i+1}，与旧点云合并为 P̂{i+1} = P_i ∪ P’_{i+1}。
  • 深度一致性配准：由于新旧点云深度不对齐，用深度对齐损失（式 6：背景深度单侧 hinge + 前景深度 L2）对 MiDaS 做 200 次迭代、学习率 1e-6 的场景级临时微调，把新场景深度对齐到已有几何。
  • 重渲染一致性去遮挡：把新场景点云在旧相机 C_i 处重渲染，检测去遮挡区域深度低于遮挡物的不一致像素，把违规的新增点沿深度方向”推远”（赋深度 0.05），保证去遮挡关系正确。
  • 场景补全（complete-as-you-go）：沿连接新旧场景的相机轨迹上再放置若干中间相机，重复”渲染局部图 → 外扩 → 反投影加点”补齐点云；新插值点深度取其最近有效邻居像素的深度。
  • 渲染：针孔相机模型，NDC 空间栅格化，每条相机光线 z-buffer 最多保留 8 个点，用 softmax(视差) 加权颜色合成（式 7）做抗锯齿；渲染分辨率 512×512。相机路径两种：直线前进（每步位移 0.0005，向后）或旋转（旋转 0.45 弧度 + 平移 0.0001）。

3. 视觉验证（VLM）：每次生成新场景图像 I_{i+1} 后立即用 GPT-4V 做检测式提问（“图像四周边界是否有画框/照片边框/虚焦物体等瑕疵？”），检测到则用新描述或新随机种子重新生成；若 GPT-4V 因网络等原因不可用，退化为生成 560×560 图像再中心裁剪的兜底方案（会引入半身物体等新问题）。

整个框架没有可训练的整体权重，唯一的”学习”发生在每个新场景生成时对 MiDaS 深度估计器做的轻量级、即用即弃的场景级测试时适配（200 步、极小学习率），不构成跨样本共享的训练产出。“记忆”机制体现为不断增长的文本场景描述记忆 M_i（供 LLM 自回归调用），论文指出理论上可以维护跨场景持久化的完整点云 P_i 作为条件输入以增强 3D 一致性，但由于长轨迹、高分辨率下点数过多导致 GPU 显存不可承受，实际实现只用当前帧图像 I_i 作为条件（在”3D 持久性”与”工程可行性”之间取舍）。

数据

WonderJourney 不训练任何数据集——所有子模块（GPT-4、GPT-4V、MiDaS v3.1、SAM、OneFormer、Stable Diffusion 2 inpainting）均为预训练现成模型，论文本身零训练数据。评测阶段的输入素材是一个混合集合：作者自拍照片、网络免版权照片，以及 DALL-E 3 生成的图像，用 DALL-E 3 完成”文本→图像”配对（用户只提供文本时）。论文明确指出”永续 3D 场景生成是一个尚无既有数据集的新任务”，因此没有发布或使用标准训练/测试集；定量评测完全依赖人类偏好实验（见”评测 benchmark”），而非在某个固定测试集上跑指标。

训练方法

框架整体训练无关：不存在端到端优化目标、不存在多阶段训练流程、不涉及强化学习或蒸馏。唯一的”训练”行为是每次新场景生成时对 MiDaS 深度估计器的场景级测试时适配——用式 (6) 的深度对齐损失做 200 次迭代、学习率 1e-6 的微调，让新外扩区域的深度与已有点云几何对齐；这是即时生成即弃的临时适配，不产出可复用的训练检查点。

论文的消融研究（Appendix F）针对流水线设计做了三组对照：

  • 外扩留白比例：对照组”Ours-slower”用 1/10 的相机移动速度、沿直线插值出 10 个中间场景到达同一终点相机位置。结果显示外扩留白不足时，描述中指定的新物体（如”房屋”）无法生成——作者将其归因于 Stable Diffusion 训练集中经过筛选、罕见在图像边界处出现被截断物体，导致外扩模型倾向直接延展已有像素而非按文本生成新物体。
  • VLM 视觉校验消融：去掉 GPT-4V 校验后，画框/照片边框类瑕疵频繁出现并向后续场景传播扩散造成破坏；加入校验后能有效检测并触发重新生成规避该问题。
  • 深度处理消融：去掉 SAM 正面平面精修 + 天空/远景深度修正后，渲染出的局部图像在天空、鸟类、塔楼等区域出现明显几何畸变；加入深度处理后畸变消除。

Infra（训练 / 推理工程）

论文正文未披露支撑整个流水线运行所需的 GPU 数量、总算力或每场景生成延迟/FPS 等推理效率数字（这是一个用现成预训练模型编排的系统，而非端到端训练模型，因此不存在”训练 GPU-hours”）。可确认的工程门槛来自 GitHub 仓库 README：运行需要 CUDA 兼容 GPU，且至少 24GB 显存。每次新场景生成中,对 MiDaS 深度估计器的场景级适配仅 200 次迭代（学习率 1e-6），属于轻量级微调,而非大规模训练。渲染分辨率固定 512×512,由 PyTorch3D 完成点云栅格化与渲染。

评测 benchmark

论文未使用任何自动化几何一致性或图像质量指标（如 FID/FVD），而是聚焦人类偏好评测：通过 Prolific 招募 400 名参与者（200 人比较 WonderJourney vs. InfiniteNature-Zero，200 人比较 WonderJourney vs. SceneScape），每人回答 12 道二选一偏好题，覆盖多样性（Diversity）、视觉质量（Quality）、场景复杂度（Complexity）、整体趣味性（Overall）四个维度。由于 InfiniteNature-Zero 只在自然风光数据上训练，对它的比较仅用真实风光照片作为输入；对 SceneScape（文本驱动）则用 3 种不同风格的样例比较。

Table 1 结果（WonderJourney 相对基线的偏好胜率）：

对比对象多样性 Div.视觉质量 Qual.场景复杂度 Compl.整体 Overall
Ours vs. InfiniteNature-Zero92.7%94.9%91.5%88.6%
Ours vs. SceneScape88.8%83.4%80.0%90.3%

WonderJourney 在全部四个维度、两组基线对照上均获得压倒性人类偏好。论文分析：InfiniteNature-Zero 只能合成自然场景，而 WonderJourney 能生成从自然场景自然衔接出的登山者、房屋等更多样的物体与场景；SceneScape 因使用带纹理网格倾向于收敛到洞穴状场景,且外扩留白有限导致难以生成新物体,这些因素共同导致对它的更高偏好优势。

创新点与影响

  • 首次提出并研究”永续 3D 场景生成”任务：把感知视角生成从单域（自然风光）或单场景（洞穴网格）扩展为跨风格、跨场景类型、语义多样但几何连贯的长程 3D 漫游。
  • 完全模块化、训练无关的系统设计：LLM 负责常识与语义推理、视觉模块负责几何与视觉理解、VLM 负责质量把关,三者均可随着底层预训练模型的进步即插即换,无需重新训练整个系统——这是论文明确陈述的设计目标。
  • 几何工程贡献：针对单目深度估计器的两个通病（边界深度过平滑、天空深度低估）设计了基于 SAM 分割的正面平面深度精修与天空深度修正；提出基于深度对齐损失的新场景深度配准和基于重渲染一致性的去遮挡处理,系统性解决了跨场景拼接时的常见几何伪影。
  • VLM 作为生成循环内的自动质检闸门：用 GPT-4V 检测画框/边框类瑕疵并触发重新生成,是”VLM-as-judge”用于生成式流水线质量控制的早期实践。
  • 支持用户可控叙事：可用诗歌、俳句、故事梗概等用户提供文本替代 LLM 自动生成的场景描述,论文用《江雪》等古典诗词、Frost《Stopping by Woods on a Snowy Evening》、Wordsworth《Lines Written in Early Spring》、《爱丽丝漫游奇境记》中的 Jabberwocky 等文本做了演示。
  • 论文自陈局限：因长轨迹、高分辨率（512×512）下维护完整持久化点云所需显存”过于庞大”,实际实现只用当前帧图像作为条件,牺牲了跨场景的完整 3D 持久性；深度处理中的各项数值（天空深度 0.025、远景截断 F=0.0015 等）是针对 MiDaS v3.1 具体标定的,换用其他深度估计器需要重新调整；新任务缺乏既有数据集与自动化评测指标,定量评测完全依赖人类偏好实验,不含任何几何一致性的客观度量。
  • 后续影响：项目页面显示该团队后续发布了 WonderWorld（CVPR 2025,支持交互式实时单图 3D 场景生成）、WonderPlay（ICCV 2025,支持动作条件的动态 3D 场景生成）,以及 WorldScore（ICCV 2025,面向”世界生成”任务的统一评测基准）,表明 WonderJourney 提出的”永续 3D 场景生成”框架成为了后续一系列可交互、可评测的”世界生成”研究的起点。

原始链接

一手源存档（sources/）

关系图谱

反向链接