一句话定位
Δ-IRIS（Delta-IRIS）是 iris 团队（University of Geneva, Micheli/Alonso/Fleuret）的后续工作：把离散自编码器改成只编码帧间的”随机增量”（Δ-token）、把自回归 transformer 的输入序列改成Δ-token 与连续”I-token”（帧级上下文摘要）交替，从而每帧只需 4 个 token（IRIS 原来是 16~64 个）。在 Crafter 基准上，Δ-IRIS 用 10M 帧数据训练后平均解出 17/22 项成就，刷新 SOTA、超过 DreamerV3，同时比 IRIS 训练快一个数量级；ICML 2024 收录。
背景与定位
Δ-IRIS 直接继承并改造 iris（IRIS，ICLR 2023，同一作者组）的世界模型范式：离散自编码器 + 自回归 transformer，把动力学学习变成对图像 token 词表的序列建模问题。IRIS 的问题是每帧独立编码，视觉复杂的环境需要大量 token 才能无损重建，而 transformer 的自注意力对序列长度是平方复杂度，导致扩展到复杂环境（如 Crafter）在计算上不可行。
Δ-IRIS 的核心洞察：帧间的变化（delta）通常比帧本身简单得多——很多变化是确定性的（角色按键移动到相邻格子），只有随机部分（敌人突然出现/消失）才真正需要 token 去编码。于是把编码器改成条件于历史帧和动作去编码”增量”，让确定性动力学完全由自编码器的解码器隐式处理，自回归 transformer 只需要建模随机性。
这与同期另一支基于 transformer 的世界模型 storm（STORM，2023，Categorical VAE + transformer）、以及 RSSM 谱系的 dreamer-v3 形成对照：RSSM 类方法用循环网络显式携带”确定性状态”，Δ-IRIS 用混合连续/离散 token 序列在自回归 transformer 内部达到类似效果,同时保留 transformer 对联合分布（而非 RSSM 的乘积分布近似）建模的优势。论文归类为 **model-based RL / 想象中学习（learning in imagination）**范式的一支。
模型架构
World model = 离散自编码器 (E, D) + 自回归 transformer G，外加一个在想象中训练的 actor-critic。三者是独立网络。
自编码器（条件式，非独立编帧）
- 编码器 E：给定历史 (x₀,a₀,…,x_{t-1},a_{t-1}) 和当前帧 x_t，输出 K 个离散 Δ-token（z_t¹,…,z_t^K）。用 CNN 参数化；历史动作用查找表嵌入后按通道拼接到帧上作为条件。
- 解码器 D：给定历史帧/动作/当前 Δ-token 重建 x̂_t；动作和 Δ-token 嵌入后与”辅助 CNN 编码历史帧”得到的特征图按通道拼接。
- 量化：向量量化（VQ-VAE，Van Den Oord 2017）+ factorized & normalized codes（Yu et al. 2021, improved VQGAN 方案），码本用指数滑动平均更新，反传用 straight-through estimator。
- 词表大小 N=1024，每帧 token 数 K=4（IRIS 是 16~64）；latent 特征图 64×8×8，量化前 token 尺寸 64×4×4，token embedding 维度 64。
- 帧尺寸 64×64；编码器 5 层卷积，每层 2 个残差块，通道数 [64,64,128,128,256]，在第 1/3/4 层后下采样；历史动作嵌入通道数 4；解码器的历史帧嵌入器与编码器同架构，输出特征图 8×8×8；条件时间步数=1（早期实验用 20 步 transformer 自编码器，静态数据集上效果更好但在持续学习设置里 CNN 收敛更快，故最终选 CNN + 1 步条件）。
- 损失：L1（权重 0.1）+ L2（权重 1.0）+ max-pixel（Anand et al. 2022，权重 0.01）加权重建损失 + commitment loss（权重 0.02）；码本 EMA 系数 0.99。
自回归 transformer G（GPT 式因果自注意力，Micheli et al. 2023 一脉）
- 输入序列交替是连续 I-token（在参考 MPEG I-frame 命名）与离散 Δ-token/动作 token：(x̃₀,a₀,z₁¹,…,z₁^K,…,x̃_{t-1},a_{t-1},z_t¹,…,z_t^k)。
- I-token 不是自编码器产出、不量化、不参与重建损失——由一个辅助 CNN（与编码器同架构但通道减半）直接把帧编码成连续向量，只跟随动力学模型的训练目标端到端优化，作用是给 Δ-token 预测提供一个”软马尔可夫毯”，避免 transformer 必须在所有历史 Δ-token 上做复杂积分才能定位当前世界状态（消融证明这一步至关重要，见下）。
- G 输出：下一 Δ-token 的类别分布（交叉熵）、奖励分布（沿用 DreamerV3 的 two-hot 离散回归 + symlog 缩放）、终止分布（交叉熵）。
- 配置：上下文 21 个时间步，embedding 维度 512，3 层，8 个注意力头，weight decay 0.01。
Actor-Critic（想象中训练）
- Actor 和 critic 共享权重（除最后一层），输入帧过 CNN（同编码器架构、通道减半）+ LSTM（隐藏维度 512）。
- 想象展开 H=15 步，起步前用 5 帧历史做 burn-in 初始化 LSTM 隐状态；γ=0.997，λ-return 的 λ=0.95，熵正则系数 0.001；critic 目标网络用 EMA 更新，系数 0.995。
- 训练目标：reinforce + value baseline（沿用 IRIS 的 actor-critic 方案），value 用与 reward 相同的离散回归目标学习 λ-return。
参数量与推理速度（Crafter，对比表见”评测”）：Δ-IRIS 全模型 25M 参数，20 FPS；不含 I-token 的消融版本 24M 参数、22 FPS；对照 IRIS(64 tokens) 48M 参数仅 2 FPS，IRIS(16 tokens) 50M 参数 6 FPS，DreamerV3 XL 200M 参数 30 FPS，DreamerV3 M 37M 参数 40 FPS（均在 Nvidia A100 40GB 上测得）。
数据
- Crafter（Hafner 2022）：Minecraft 风格的程序化生成环境，视觉输入、离散动作空间、非确定性动力学，22 项成就（如砍树、造工作台、打怪、管理生命/饥饿/口渴指标），综合考察泛化、探索、信用分配能力。
- 数据完全在线交互收集，走”经验收集 → 世界模型学习 → 策略提升”三阶段持续学习循环：训练 1000 个 epoch，第一个 epoch 采 100,000 步环境交互，之后每 epoch 采 10,000 步，共 990 个采集 epoch，合计 10,000,000 帧（100k + 990×10k）；采集阶段 ε-greedy=0.01。
- 采样策略：对全部历史 episode 做 count-based 采样（某 episode 被选中的概率与其历史使用次数成反比），并把逆计数取 5 次方进一步压低旧 episode 的权重，缓解持续学习中对早期数据过采样的偏差。
- Atari 100k（Kaiser et al. 2020，Bellemare et al. 2013 的 Arcade Learning Environment 子集）：每个游戏严格限制 100,000 次交互（对应真实时间约 2 小时，相对标准 Atari 基准的 900 小时是数量级压缩），用于检验 Δ-IRIS 在样本受限场景下的效果，评测时对每个游戏用 5 个 seed、每 seed 训练结束后跑 100 episode 取平均。
- 未使用离线数据集或跨环境预训练；两套基准（Crafter / Atari）均为在线 RL 从零训练，无 sim-to-real 或跨具身混合数据的概念。
训练方法
- **想象中学习（learning in imagination）**三阶段循环反复交替：真实环境采集经验 → 用采集到的片段（temporal segments，count-based 采样）训练世界模型 → 在世界模型的想象 rollout 中训练 actor-critic 策略，真实交互只用来学动力学，策略训练完全在想象里进行。
- 世界模型两部分独立训练目标：自编码器用加权 L1+L2+max-pixel 重建损失 + commitment loss；transformer G 用交叉熵（Δ-token 转移 + 终止）+ DreamerV3 式 two-hot 离散回归（奖励，symlog 缩放）联合训练。
- 固定 imagined-to-collected 数据比 = 64（用于平衡训练速度与效果，全部方法与消融统一采用此值以保证对比公平）。
- 关键超参：batch size——自编码器 32，transformer 32，actor-critic 86；Adam 优化器，学习率 1e-4，最大梯度范数 10.0；每 epoch 训练 500 步。
- 消融验证的两个关键设计：(1) 条件式 Δ-token 编码 vs IRIS 式独立帧编码；(2) transformer 序列中加入连续 I-token vs 不加（“Δ-iris w/o I-tokens”，即 G 只能看到首帧 + 动作 + Δ-token 序列，需要自己整合全部历史）。
Infra（训练 / 推理工程）
- 训练硬件：单张 Nvidia A100 40GB GPU，所有方法和消融跑 5 个随机种子。
- 训练时长：Crafter 上未给出具体小时数（Atari 100k 上明确说 Δ-IRIS 训练 26 小时，相对 IRIS 有 5 倍加速）；Crafter 上论文只给”比 IRIS 训练快一个数量级”的定性说法，未披露具体壁钟时间对比表。
- 推理/仿真速度（Crafter，世界模型 rollout FPS，A100）：Δ-IRIS 全模型 20 FPS，不含 I-token 版本 22 FPS；对照 IRIS(64 tokens) 2 FPS，IRIS(16 tokens) 6 FPS，DreamerV3 XL 30 FPS，DreamerV3 M 40 FPS。可见 Δ-IRIS 相对同架构谱系的 IRIS 有 3
10 倍推理加速（token 数从 1664 降到 4 带来的直接收益），但仍慢于无 transformer 注意力瓶颈的 DreamerV3。 - 精度、分布式并行策略、具体训练小时数（Crafter）：论文未披露。
评测 benchmark
Crafter（主基准，Table 1 + Table 6）
| 方法 | Return@1M | Return@5M | Return@10M | 参数量 | FPS |
|---|---|---|---|---|---|
| Δ-IRIS | 7.7 (0.5) | 15.4 (0.4) | 16.1 (0.1) | 25M | 20 |
| DreamerV3 XL | 9.2 (0.3) | 14.2 (0.2) | 15.1 (0.3) | 200M | 30 |
| IRIS (64 tokens) | 5.5 (0.7) | – | – | 48M | 2 |
| Δ-IRIS w/o I-tokens | 6.6 (0.2) | 10.4 (0.5) | 12.6 (0.8) | 24M | 22 |
| DreamerV3 M | 6.2 (0.5) | 12.6 (0.7) | 13.7 (0.8) | 37M | 40 |
| IRIS (16 tokens) | 4.4 (0.1) | – | – | 50M | 6 |
Crafter 官方 score（几何平均成就完成率，Appendix D）：Δ-IRIS 9.30 / 39.67 / 42.47（@1M/5M/10M），Δ-IRIS w/o I-tokens 5.85 / 14.39 / 25.92，IRIS(64 tokens) 6.66（仅 @1M，因训练过慢提前终止）。10M 帧后 Δ-IRIS 平均解出 17/22 项成就，创 Crafter 新 SOTA；3M 帧以后持续超过 DreamerV3，但 DreamerV3 在最小帧预算下更优（作者解释：Δ-IRIS 不像 DreamerV3 那样把世界模型表征直接喂给策略网络，留作未来工作）。移除 I-token 显著损害效果，证明其必要性。剩余 4/22 未解成就中 3 个需要”造工作台+熔炉后合成新工具”这类需要长链探索才能触发的稀有事件，10M 帧内很少被观测到。
世界模型质量指标（held-out 测试集，Appendix B，用 Δ-IRIS 采集的 10M 帧数据集训练各世界模型）：重建 L2 loss——Δ-IRIS(4 tokens) 0.000185，IRIS(64 tokens) 0.001715，IRIS(16 tokens) 0.007496（Δ-IRIS 用 4 个 token 就把重建误差压到 IRIS 64-token 版本的约 1/9）；下一 token 交叉熵 / 奖励交叉熵：Δ-IRIS 1.57 / 0.108，去掉 I-token 后 1.73 / 0.135；max-pixel 损失消融：Δ-IRIS 完整版 L2=0.000185/max-pixel=0.018，去掉 max-pixel loss 后 L2=0.000178 但 max-pixel=0.031（去掉后逐像素误差变大，说明该损失项确实压制了最差像素点的重建）。
Atari 100k（Appendix C，26 款游戏，5 seed，对照 Random/Human/SimPLe/DreamerV3/STORM/IRIS）：Δ-IRIS Mean HNS = 1.39（IRIS 1.05，STORM 1.27，DreamerV3 1.10，SimPLe 0.33），Interquartile Mean = 0.65（IRIS 0.50，STORM 0.64，DreamerV3 0.50），Superhuman games = 11（IRIS 10，STORM 10，DreamerV3 9，SimPLe 1，满分 26）。逐游戏亮点：Asterix 2492（IRIS 854）、BankHeist 1148（IRIS 53）、Breakout 302（IRIS 84，DreamerV3 31）、Gopher 6445（IRIS 2236）；也有退步项如 Alien 391（IRIS 420）、Amidar 64（IRIS 143）。训练用时 26 小时，相对 IRIS 5 倍加速。
创新点与影响
- 核心贡献：把”编码帧”这件事从”独立压缩每帧”改造成”条件式编码帧间随机增量”，让确定性动力学完全交给自编码器的条件解码器隐式建模，自回归 transformer 只需处理真正的随机性——每帧 token 数从 IRIS 的 16~64 降到 4，直接把 attention 的平方复杂度成本砍掉一个量级。
- 第二个贡献是连续 I-token 与离散 Δ-token 交替的序列设计：论文用消融证明，单纯减少 token 数而不解决”transformer 需要在 Δ-token 上做复杂积分才能定位世界状态”的问题，效果会显著下降；I-token 提供了一种与自回归 transformer 兼容的”软确定性状态”注入方式，呼应但不同于 RSSM 靠循环网络显式携带确定性状态的做法。
- 影响：证明了 IRIS 式”离散自编码器+自回归 transformer”世界模型路线可以通过增量条件化扩展到 Crafter 这类视觉更复杂的环境，并在 Atari 100k 上以更少训练时间达到具竞争力的效果，为后续同一实验室的 diamond（扩散世界模型路线，同组下一代工作）提供了对照基线与问题意识（Δ-IRIS 论文亦讨论了”离散压缩可能丢失细节”这一后来被 DIAMOND 重点攻击的问题）。
- 作者自陈局限：(1) 当前版本对每个时间步固定使用相同数量的 token 编码随机性，但真实环境里”低不确定性”和”高随机性”时段交替出现，理想情况应根据上下文动态调整 token 数；(2) 未利用世界模型的内部表征做策略学习（DreamerV3 那样），留作未来工作；(3) 稀有/长链探索型成就（需要连续多步稀有事件触发）在 10M 帧预算内仍难以学到。
原始链接
- arXiv: https://arxiv.org/abs/2406.19320
- PDF: https://arxiv.org/pdf/2406.19320
- GitHub: https://github.com/vmicheli/delta-iris
- Hugging Face（预训练 Crafter 5M 帧 checkpoint）: https://huggingface.co/vmicheli/delta-iris
- OpenReview（ICML 2024 收录页）: https://openreview.net/forum?id=BiWIERWBFX
一手源存档（sources/）
- delta-iris—github-readme — GitHub README 快照（sources/world-model/2024/delta-iris—github-readme.md）
- delta-iris—hf-card — Hugging Face model card 快照（sources/world-model/2024/delta-iris—hf-card.md）
- arXiv 全文（HTML）已通读，未入 git；引用见上方 arXiv URL（arXiv 原文 PDF，不入 git）