一句话定位
DriveWorld（CVPR 2024）用世界模型做自动驾驶的 4D（空间+时间）预训练：提出 Memory State-Space Model（MSSM），把动态物体的时序信息（Dynamic Memory Bank）与静态场景的空间信息（Static Scene Propagation）分开建模，再配合语言引导的 Task Prompt 解耦不同下游任务的特征，在 nuScenes / OpenScene 上预训练后微调 BEVFormer + UniAD，六项任务（检测/建图/跟踪/预测/占据/规划）全面提升。
背景与定位
视觉中心自动驾驶此前的预训练方法要么停留在 2D 预文本任务（如 DD3D 的深度估计),要么停留在 3D 预文本任务（OccNet、UniScene、UniPAD 的 3D 场景重建），都没有把自动驾驶本质上是 4D（空间+时间）场景理解这件事当回事。DriveWorld 的定位是把强化学习里的世界模型思路搬过来做纯预训练：不是学策略，而是学一个能同时刻画时序动态和空间静态结构的表征，再迁移到检测、建图、跟踪、运动预测、占据预测、规划六个下游任务。
方法上直接对标 dreamer-v1/dreamer-v2/dreamer-v3 一系的 Recurrent State-Space Model（RSSM）以及在驾驶域用 RSSM 学 BEV 分割世界模型的 MILE；也对标 gaia-1-wayve、drivedreamer 这类用扩散模型生成视频/动作的生成式驾驶世界模型。DriveWorld 的差异化在于：它不是生成式世界模型（不生成图像/视频），而是把世界模型纯粹当预训练目标，直接消融验证了标准 RSSM 因为把 BEV 特征压成 1D 向量、丢失空间上下文，在自动驾驶这种依赖精确定位的任务上会显著变差（详见「训练方法」消融数据），因此设计了保留 BEV 空间结构的 MSSM 取而代之。预训练目标是 3D occupancy 重建（沿用 OccNet/UniScene 的占据栅格思路，而非 MILE 的 BEV 分割或扩散式生成式世界模型的像素重建），下游微调直接复用 BEVFormer（检测）与 UniAD（跟踪/建图/预测/占据/规划一体化框架）的头部。
模型架构
整体流水线：多相机图像 → Image Encoder + 2D-to-3D View Transform（Transformer 或 LSS 技术，与 BEVFormer 对齐）得到 BEV 特征 → Memory State-Space Model 做时空建模 → Decoder 重建当前及未来 3D occupancy 与 ego 动作 → Task Prompt 按下游任务解耦特征。Backbone 用 ResNet101-DCN（与 BEVFormer、UniAD 保持一致以便公平比较）。
Memory State-Space Model（MSSM，核心模块）：延续 RSSM 的概率建模框架——两个隐变量 (hₜ 确定性历史, sₜ 随机状态)，后验分布 q(sₜ|o≤ₜ,a<ₜ) 由观测图像+动作驱动，先验分布 p(sₜ|hₜ₋₁,sₜ₋₁) 只靠历史递推（用于无图像输入时预测未来）。但 MSSM 把 RSSM 原本压缩到 1D 张量（论文里设 xₜ∈ℝ⁵¹²）的做法拆成两条独立通路：
- Dynamic Memory Bank（动态记忆库，管时序）：动作参数（速度 v、相对时间间隔 Δt）经两个线性层 (ξ₁,ξ₂) 转成仿射向量 γ、β，做 Motion-aware Layer Normalization（MLN，借鉴 StreamPETR 的思路）：s̃ₜ = γ·LN(sₜ)+β，再与由 h₁:ₜ 构成的动态记忆库做 cross-attention 得到精炼历史 h̃ₜ，确定性状态转移 hₜ₊₁ = f_θ(h̃ₜ, s̃ₜ)。
- Static Scene Propagation（静态场景传播，管空间）：从 1~T 帧里随机取一帧 o′ 的 BEV 特征 b′，编码成静态潜表征 b̂ = z_θ(b′)，不做 warping，直接与 sₜ 在通道维拼接，让模型学一个覆盖全局场景的鲁棒表征，同时让 sₜ 专注运动信息。
- 3D occupancy 解码：ŷₜ = l_θ(m_θ(h̃ₜ, sₜ), b̂)，m_θ 把 1D 特征展开回 BEV 维度，l_θ 是 3D 卷积网络。相比 OccNet/UniScene 的单帧 3D occupancy 重建，这里扩展成 4D（当前+未来）occupancy 预测。
Task Prompt：用预训练语言模型（BERT / CLIP）编码任务描述文本（如”The task is to predict the 3D occupancy of the current scene”），经 AdaptiveInstanceNorm + CNN 扩展到 BEV 维度后与时空特征融合，解耦不同下游任务（如检测偏重当前空间信息、运动预测偏重未来时序信息）需要的不同特征侧重。
配置数字：voxel size 16×200×200；BEV 潜向量维度 512；观测步数 T=4，预训练时预测未来步数 L=4；预训练学习率 2×10⁻⁴，默认 24 epoch。
数据
预训练数据：nuScenes 训练集（700/150/150 个 train/val/test 场景，采集自波士顿和新加坡）+ OpenScene（当前最大的 3D occupancy 数据集，覆盖超过 120 小时的 occupancy 标注，采集城市含波士顿、匹兹堡、拉斯维加斯、新加坡）。OpenScene 除语义占据标签外还提供 occupancy flow（运动信息），DriveWorld 用它做额外的 L2 flow 监督。
标签构造：稠密 3D occupancy ground truth 通过融合多帧 LiDAR 点云得到（沿用 OccNet/UniScene 的做法），比单帧点云更完整地覆盖遮挡区域。
数据规模消融（Table 2，UniAD Stage-1 上做）：预训练数据用 50%（其余同 100% 微调）时 mAP 0.425/NDS 0.523/AMOTA 0.364，弱于 100% 预训练（mAP 0.436）；反过来，100% 预训练 + 仅 75% 微调数据 时 mAP 0.418，已经接近完全不预训练但用 100% 微调数据的基线（mAP 0.416）——论文据此论证 4D 预训练能把微调阶段的数据/标注需求降低约 25%。
下游微调数据：与 BEVFormer / UniAD 保持一致，同样用 nuScenes 训练集。
训练方法
预训练目标：变分下界（沿用 Recurrent State-Space Model 的概率生成式框架），loss 由三项构成——(1) 后验/先验状态分布的 KL 散度，(2) 当前及未来 T+L 步 3D occupancy 的交叉熵重建损失，(3) 当前及未来动作（用 MLP 从历史预测速度、转向）的 L1 损失；OpenScene 数据上额外加 occupancy flow 的 L2 损失。附录给出了完整的 ELBO 逐步 KL 分解推导。
微调：预训练阶段只训练”encoder”（图像特征提取到 BEV 特征生成的部分），微调时 encoder + decoder（各任务头）+ Task Prompt 一起训练。
- 3D 检测：接到 BEVFormer 框架，不冻结 encoder，训练 24 epoch。
- 跟踪/建图/运动预测/占据预测/规划：接到 UniAD 框架，加载微调好的 BEVFormer 权重，遵循 UniAD 原生两阶段协议（Stage 1 六 epoch，Stage 2 二十 epoch）。
消融验证 MSSM 设计的必要性（Table 1，UniAD Stage-1、queue length=3 做快速消融）：
| 配置 | mAP↑ | NDS↑ | AMOTA↑ | IoU-lane↑ |
|---|---|---|---|---|
| 无预训练基线 | 0.416 | 0.517 | 0.355 | 0.301 |
| 预训练用标准 RSSM | 0.381 | 0.494 | – | – |
| MSSM（仅 SSP） | 0.429 | 0.528 | 0.365 | 0.319 |
| MSSM（SSP+DMB，无 MLN） | 0.425 | 0.524 | 0.370 | 0.312 |
| MSSM（SSP+DMB+MLN） | 0.432 | 0.531 | 0.373 | 0.326 |
| + Task Prompt（完整 DriveWorld） | 0.436 | 0.534 | 0.379 | 0.329 |
标准 RSSM 预训练反而把检测性能拖到比不预训练还差（0.381 vs 0.416），论文将其归因于 RSSM 把 BEV 特征压成 1D 张量丢失了空间上下文；引入 SSP（直接用 BEV 特征重建）就带来约 1.3 个点提升；单独加 DMB 会让检测/建图掉一点但跟踪提升（时序信息对跟踪更关键、对精确定位是噪声）；加 MLN 后所有感知任务同时提升；最后 Task Prompt 解耦任务特征带来进一步小幅提升。
Infra（训练 / 推理工程）
- 实验环境：8× NVIDIA Tesla A100 GPU（预训练与下游微调均在此配置下进行）。
- GPU-hours、并行策略（数据/模型并行）、训练精度（fp16/fp32/bf16）：论文未披露。
- 推理速度（FPS / 控制频率 / 延迟）、边缘部署硬件：未披露。
评测 benchmark
评测均在 nuScenes 上进行，对比对象为 BEVFormer（检测基座）、UniAD（跟踪/建图/预测/占据/规划一体化基座）及同为预训练/蒸馏路线的 FCOS3D、OccNet、UniScene、BEVDistill。† 表示用 nuScenes 训练集预训练，‡ 表示用更大规模的 OpenScene 训练集预训练。
3D 检测（Table 3）：BEVFormer 基线（仅 2D ImageNet 预训练，重新训练）mAP 0.377/NDS 0.477；+FCOS3D（单目 3D 预训练）0.416/0.517；+OccNet 0.436/0.532；+UniScene 0.438/0.534；+BEVDistill 0.439/0.536；+DriveWorld† 0.442（相对 BEVFormer 2D 基线 mAP +6.5 个点）/0.536（NDS +5.9 个点）；+DriveWorld‡ 0.452（mAP +7.5 个点）/0.545（NDS +6.8 个点），全面超过 OccNet/UniScene/BEVDistill（这三者相对 FCOS3D 基线只再带来约 2 个点提升）。
在线建图（Table 4，IoU）：UniAD 基线 Lanes 31.3/Drivable 69.1；+DriveWorld‡ 达 Lanes 34.2（+2.9%）/Drivable 73.7（+4.6%）/Divider 29.5（+3.8%）/Crossing 17.2（+3.4%），优于 OccNet(32.1/70.2)、UniScene(32.5/70.5)、BEVDistill(32.7/70.4)。
多目标跟踪（Table 5）：UniAD 基线 AMOTA 0.359；+DriveWorld† 0.385（+2.6%）；+DriveWorld‡ 0.412（+5.3%），同时 ID Switch 从 906 降到 701（同类方法里最低），优于 OccNet(0.363)/UniScene(0.373)/BEVDistill(0.376)。
运动预测（Table 6）：UniAD 基线 minADE 0.71m；+DriveWorld† 0.67m（-0.04m）；+DriveWorld‡ 0.61m（-0.10m），同时 minFDE 从 1.02m 降到 0.91m，EPA 从 0.456 升到 0.503；OccNet/UniScene/BEVDistill 在该任务上提升有限（minADE 均在 0.69-0.70m）。
占据预测（Table 7，IoU/VPQ，near/far）：UniAD 基线 IoU-n 63.4/IoU-f 40.2；+DriveWorld‡ IoU-n 66.2（+2.8%）/IoU-f 45.2（+5.0%）/VPQ-n 58.1（+3.4%）/VPQ-f 36.9（+3.4%）。
规划（Table 8，平均 L2 误差 / 平均碰撞率）：UniAD 基线 Avg L2 1.03m/Col.Rate 0.31%；+DriveWorld‡ Avg L2 0.69m（-0.34m）/Col.Rate 0.19%（-0.12），是六项任务里相对提升最大的一项，论文将其归因于检测/建图/跟踪/预测各环节的累积增益最终传导到规划。
创新点与影响
- 提出自动驾驶领域第一个基于世界模型的 4D（空间+时间）预训练框架，把此前局限于 2D/3D 预文本任务的视觉中心预训练扩展到显式时序建模。
- Memory State-Space Model：用 Dynamic Memory Bank（时序）+ Static Scene Propagation（空间）替代标准 RSSM 的单一 1D 隐状态，用消融实验证明标准 RSSM 在驾驶场景会因丢失空间上下文而恶化下游性能。
- Task Prompt：用语言模型编码任务语义作为条件，缓解”一个预训练表征服务多个目标冲突的下游任务”（如检测要精确当前定位、预测要更宽感受野）的矛盾。
- 六项下游任务（检测/建图/跟踪/预测/占据/规划）在 nuScenes 上相对 UniAD/BEVFormer 基线及同类预训练方法（OccNet/UniScene/BEVDistill）全面提升，其中规划任务提升幅度最大（平均 L2 误差降 0.34m）。
- 论文自陈局限：3D occupancy 标注仍依赖 LiDAR 点云，尚未做到纯视觉自监督预训练；仅在轻量 ResNet101 backbone 上验证，尚未探索扩大数据规模和 backbone 规模后的表现。
原始链接
一手源存档（sources/）
- 未发现官方博客 / GitHub 代码仓 / 项目主页 / HuggingFace 模型卡（HF papers 页 https://huggingface.co/papers/2405.04390 返回 404，论文正文与结论部分均未提及代码开源计划）。
- arXiv 全文（HTML，arXiv:2405.04390v1）：仅在线引用，不入 git。