一句话定位
LWM（Large World Model）是 UC Berkeley 2024 年 2 月提出的一个”tokens-in tokens-out”自回归 world model：以 LLaMA-2 7B 为底座，用作者自研的 ring-attention（RingAttention + Blockwise Parallel Transformer）把上下文从 4K 逐步扩展到 100 万 token，再在这个 1M 上下文里联合训练长视频 + 图像 + 长篇书籍，让一个纯自回归 transformer 同时具备百万级事实检索、长视频问答、以及文本/图像/视频的双向生成能力。
背景与定位
2024 年初，长上下文语言模型（Claude/Gemini 1.5 走的方向）与视频生成世界模型（多为扩散式，如同期的 diffusion-forcing）是两条并行赛道；视觉-语言模型（LLaVA、Video-LLaVA、Video-ChatGPT 等）则普遍靠 CLIP/BLIP 把视觉编码成连续 embedding 喂给 LLM，只能”看图说话”、不能反向生成视觉内容，且受限于上下文长度只能均匀抽样几帧、丢失长视频的细粒度时序信息（论文举例 Video-LLaVA 只能抽 8 帧，无论视频多长）。
LWM 的定位是把这两条路线合并到同一个纯自回归框架里：用离散 VQ token 把视频/图像也变成”token”，和文本 token 一起塞进同一个 100 万 token 的因果序列里预测。这样模型天然是”any-to-any”——可以文本生视频、视频生文本、图生文本、文本生图，也可以在百万 token 长上下文里做事实检索和长视频理解。实现这一切的底层引擎是作者自己此前发表的两项基础设施工作：ring-attention（ICLR 2024，块状环形注意力，通信与计算重叠，上下文长度随设备数线性扩展、近乎无限）与 Blockwise Parallel Transformer（NeurIPS 2023，同一批作者）。LWM 是把这套长上下文基础设施第一次系统性地推到”长视频+长文本”联合训练的规模化验证。
后续工作中，这个训练出的 VLM 骨干（LWM-Chat-1M / LWM-1M-Jax）被 lapa-latent-action-pretraining 直接拿来做无标注视频的潜动作预训练底座，是 LWM 走向具身/机器人下游应用的一条实际影响路径。
（提示：本文六维分析基于 arXiv v1，2024-02-13 提交版本的正文与表格；论文标题与摘要在后续版本（v2/v3/v4，至 2025）有过修订，当前 arXiv 页面标题为 “World Model on Million-Length Video And Language With Blockwise RingAttention”，与本页 frontmatter 一致，但摘要措辞已更新为更宽泛的”长上下文理解”表述——数字与实验结论以 v1 正文为准。）
模型架构
- 骨干：自回归 decoder-only transformer，从 LLaMA-2 7B 初始化，参数量全程保持 7B。
- 上下文扩展机制：ring-attention（块状计算 + 序列并行，理论上下文长度只受设备数限制）与 FlashAttention 通过 Pallas（而非 XLA 编译器）融合实现，以获得更优性能；在设备足够多、单卡 token 数足够大时，RingAttention 的跨设备通信可与计算完全重叠、不引入额外开销。
- 位置编码：标准 RoPE，采用”θ 随上下文窗口同步放大”的简单外推法（θ 从 32K 阶段的 1M 一路调到 1M 上下文阶段的 5×10⁷，具体见下表）。
- 视觉 tokenizer：直接复用 aMUSEd 项目里预训练好的 VQGAN，把 256×256 输入图像编码成 16×16 个离散 token；视频通过逐帧过 VQGAN 再把各帧 code 拼接得到。
- 模态边界标记：引入
<eof>（每个非最后一帧视频帧结尾的”帧结束”标记）与<eov>（单图结尾或视频最后一帧结尾的”视觉结束”标记）；文本侧用<vision>…</vision>包裹视觉 token 段。视觉与文本 token 交错拼接后统一自回归预测。 - 推理时的 classifier-free guidance：图像/视频生成沿用 CFG 思路，无条件分支以
<bos><vision>起始采样。 - 配置速览（各阶段一致 7B 参数，仅上下文长度/RoPE θ/batch 不同，详见”训练方法”表格）。
数据
Stage I（纯文本，上下文 4K→1M）
- 语料：The Pile 中的 Books3 数据集，按文档长度过滤为 5 个递进子集，分别对应 32K/128K/256K/512K/1M 五档上下文（过滤阈值：10K-100K / 100K-200K / 200K-500K / 500K-1M / 1M+ tokens）。
- HF 模型卡片透露 1M 上下文阶段具体用了 800 篇 tokens 数 ≥1M 的 Books3 文档子集。
- 长上下文 Chat 数据：UltraChat ×（作者自建的模型生成 QA 数据集），混合比例约 7:3；QA 数据构造方式——把 Books3 文档切成 1000-token 的 chunk，喂给一个短上下文 LM，为每个 chunk 生成一条问答对，再把相邻 chunk 拼接到目标上下文长度、并在末尾以对话形式附上相关 QA 对。
Stage II（视觉-语言，上下文 1K→1M）
- LWM-1K 阶段（图文）：LAION-2B-en + COYO-700M，过滤到分辨率 ≥256，合计约 10 亿（~1B）图文对（HF 模型卡片给出的拆分是 “700(M) from LAION-2B-en + 400M from COYO-700M”，与论文正文”roughly 1B”量级一致）；随机交换图文顺序以同时学习图生文/文生图/无条件生成；打包到 1K token 序列。
- LWM-8K 阶段（图+视频）：WebVid10M（约 1000 万文本-视频对）+ InternVid10M 的 300 万（3M）子集；图像:视频按 50:50 混合；视频采样为 30 帧、4 FPS；打包到 8K token；同样随机交换模态顺序。
- 前两阶段（1K/8K）额外混入 16% 的纯文本数据（来自 OpenLLaMA 语料），用于在视觉训练中保留语言能力。
- LWM-Chat-32K/128K/1M 三个 chat 阶段：混合 4 类下游任务数据、每类各占 batch 的 25%——(1) 文生图/图生文对话（从预训练数据随机抽取子集改造为对话格式）、(2) 图像理解（ShareGPT4V 指令数据）、(3) 文生视频/视频生文对话（同样从预训练数据构造）、(4) 视频理解（Valley-Instruct-73K（7.3 万条）+ Video-ChatGPT-100K（10 万条）指令数据混合）。短上下文数据（图像生成/理解、视频生成）打包到训练上下文长度，并对 attention 做 mask + loss 重加权，使打包训练与非打包+padding 训练在计算上等价（见”训练方法”消融）；视频理解数据在视频过长时均匀抽帧以适配上下文长度。
- 未披露：视频/图像数据的具体来源清洗规则（去重、内容过滤器细节）、动作标注（本文无机器人/动作模态）。
训练方法
-
渐进式上下文扩展：仿照 GrowLength 思路，从 32K 起、以 2 的幂次逐步扩展到 1M（32K→128K→256K→512K→1M），而不是直接在目标长度上训练——因为在 7B 模型上直接训练 1M 长度时单步梯度更新约需 7 分钟，1 天算力仅能跑约 200 步；渐进式训练可用同样算力吃到多几个数量级的 token 总量。每一阶段从上一阶段（更短上下文）的 checkpoint 继续初始化。
-
RoPE θ 外推：θ 随目标上下文窗口同步放大（32K:1M, 128K:10M, 256K:10M, 512K:25M, 1M:50M），只需调 1 个超参数、被作者认为是稳定的外推方法。
-
Stage I 语言预训练超参（LR 恒定 4×10⁻⁵，batch 4M token/步）：
32K 128K 256K 512K 1M 序列长度 2¹⁵ 2¹⁷ 2¹⁸ 2¹⁹ 2²⁰ RoPE θ 1M 10M 10M 25M 50M 总 token 数 4.8B 12B 12B 3B 1.8B 总步数 1200 3000 3000 720 450 Wall Clock 8h 45h 83h 47h 58h 算力 v4-512 v4-512 v4-512 v4-512 v4-512 -
Stage I chat 微调（各上下文独立从对应预训练 ckpt 初始化，不再渐进）：128K/256K/512K/1M 分别耗时 6h/10h/20h/40h（均 v4-512，batch 同 4M token/步，各 1.2B token）。
-
Stage II 视觉-语言训练超参（batch 8M token/步，RoPE θ 统一 50M）：
1K 8K Chat-32K Chat-128K Chat-1M 序列长度 2¹⁰ 2¹³ 2¹⁵ 2¹⁷ 2²⁰ 总 token 数 363B 107B 10B 3.5B 0.4B 总步数 45000 14000 1200 450 50 LR schedule Cosine (max 6e-4, min 6e-5) Cosine (同左) Cosine (max/min 8e-5) 同左 同左 Wall Clock 83h 32h 10h 6h 8h 算力 v4-1024 v4-1024 v4-1024 v4-1024 v4-1024 -
Masked Sequence Packing：为混合不同长度序列而设计的打包机制——对打包进同一 batch 的不同 text-vision pair 做 attention mask（每对只attend自己）并重新加权 loss，使其在数值上等价于”非打包+padding”训练；消融显示不做这层修正会明显掉点（见”评测”表10）。
-
Loss 加权：在语言与视觉 token 之间做权重平衡（论文强调这是训练混合模态的关键手段之一，但未给出具体权重数值）。
-
推理侧扩展：额外实现了支持百万级长度解码的 RingAttention 版本；未做量化，用单精度 (fp32) 推理。
Infra（训练 / 推理工程）
- 训练硬件：全部阶段使用 TPU v4——语言阶段 v4-512，视觉-语言阶段 v4-1024；论文明确换算 TPU v4-1024 ≈ 450 张 A100。
- 并行策略：
mesh_dim = (dp, fsdp, tp, sp)四维网格，可自由分配 数据并行 / FSDP / 张量并行 / RingAttention 序列并行；论文给出各阶段具体 mesh sharding（如 1M 语言阶段1,-1,16,4，即 fsdp+tp+sp 混合，sp=4）。训练用 FSDP（Fully Sharded Data Parallel）。 - 精度：训练全程 float32（单精度，非 bf16/fp16）。
- MFU：论文报告”即使在很大上下文长度下也能维持良好的模型 FLOPs 利用率”，具体 MFU 数值未在正文给出量化表格（图示为主，未披露具体百分比）。
- 推算总训练时长（作者未直接给出总和，以下为把各阶段 Wall Clock 相加得到的推算值，非论文原文数字）：Stage I 预训练 8+45+83+47+58 ≈ 241 小时（v4-512）+ chat 微调 6+10+20+40 ≈ 76 小时（v4-512）；Stage II 视觉-语言 83+32+10+6+8 ≈ 139 小时（v4-1024）。
- 推理侧扩展：支持百万级序列解码，最低需要 v4-128，TPU mesh sharding 为 32 张量并行 × 4 序列并行（ring 维度）；用单精度推理，作者指出量化等技术可进一步优化（未实现）。控制频率/FPS/边缘硬件时延：未披露（该模型面向理解与生成任务，非实时控制场景）。
评测 benchmark
以下数值均取自论文正文表格：
1) Single-Needle Retrieval：在 1M 上下文模型上，对经典 Needle-in-a-Haystack 任务（随机城市配随机数字）达到”几乎完美”的检索准确率，覆盖整个上下文范围（图 5）；并可扩展到远超同期最强 LLM 的上下文长度（图 2）。
2) Multi-Needle Retrieval（Table 3，准确率）：
| 上下文长度 | 模型 | N=2,R=2 | N=4,R=1 | N=4,R=2 |
|---|---|---|---|---|
| 32K | Gemini Pro | 0.34 | 0.44 | 0.60 |
| 32K | GPT-4 | 0.97 | 0.95 | 0.90 |
| 32K | LWM-Text-1M（本文） | 0.84 | 0.97 | 0.84 |
| 128K | GPT-4 | 0.92 | 0.80 | 0.82 |
| 128K | LWM-Text-1M（本文） | 0.83 | 0.98 | 0.83 |
| 1M | LWM-Text-1M（本文）（Gemini Pro/GPT-4 均无 1M 数据） | 0.67 | 0.84 | 0.69 |
LWM 在单needle检索上可与 GPT-4 竞争甚至更优，多needle场景略逊，且是当时唯一能跑到 1M 上下文的模型；作者也指出难度提升（多needle）时准确率下降，1M 上下文利用仍有改进空间。
3) 短上下文语言评测（Table 4，扩展上下文是否损害短文本能力）：Llama-2 7B 与 LWM-Text 32K–1M 各档在 arc_challenge/hellaswag/mmlu/openbookqa 上表现相近甚至更优（如 arc_challenge/acc：0.40 vs 0.43–0.45），说明上下文扩展未损伤短上下文性能。
4) Chat 评测（MT-Bench）：LWM-Text-Chat-128K/256K/512K/1M 得分分别为 4.62 / 5.00 / 4.83 / 4.19（上下文越长得分略降，作者归因于长序列训练数据量较少）。Chat/QA 混合比例消融（同一 1M chat 模型系列）：0%/100% → MT-Bench 2.42、Needle 准确率 100%；40%/60% → 4.14、100%；70%/30% → 4.62、96%；90%/10% → 5.10、55%；100%/0% → 5.80、31% —— 呈现明显的 chat 能力 vs 长上下文检索精度权衡。
5) 图像理解（Table 8，对比 CLIP 类基线）：
| 方法 | 视觉 token | VQAv2 | GQA | VisWiz | SQA | TextVQA | POPE | MM-Vet |
|---|---|---|---|---|---|---|---|---|
| LLaVA-1.5 | CLIP | 78.5 | 62.0 | 38.9 | 66.8 | 58.2 | 85.9 | 30.5 |
| LWM（本文） | VQGAN | 55.8 | 44.8 | 11.6 | 47.7 | 18.8 | 75.2 | 9.6 |
LWM 全面弱于 LLaVA-1.5/InstructBLIP 等 CLIP 骨干基线，作者归因于 VQGAN 离散 token 需要从零学图文对齐（无 CLIP 级别的大规模对比预训练），且 VQGAN 重建文字能力弱、OCR 类任务（TextVQA）尤其吃亏。
6) 短视频理解（Table 9，Accuracy / Score）：
| 方法 | MSVD-QA | MSRVTT-QA | TGIF-QA |
|---|---|---|---|
| Video-LLaVA | 70.7 / 3.9 | 59.2 / 3.5 | 70.0 / 4.0 |
| LWM（本文） | 55.9 / 3.5 | 44.1 / 3.1 | 40.9 / 3.1 |
同样落后于 CLIP 骨干的 Video-LLaVA/Video-ChatGPT，但 LWM 的优势在于长视频（下条）而非这些短片段基准。
7) 长视频理解（定性为主）：能正确回答关于一个由 500+ 个片段拼接、时长约 1 小时的 YouTube 合辑视频的问题（图 1），而 GPT-4V、Gemini Pro 等基线在该长视频问答上均失败（如时间戳 9:56、6:49 处的问题）；作者同时承认生成答案不总是准确，模型对更复杂的高层理解问题仍有困难。
8) Masked Sequence Packing 消融（Table 10）：
| VQAv2 | SQA | POPE | |
|---|---|---|---|
| Naive Packing（无 mask/reweight 修正） | 48.3 | 34.8 | 62.5 |
| LWM（本文，含修正） | 55.8 | 47.7 | 75.2 |
朴素打包（不做 attention mask + loss 重加权）在图像理解各项上明显掉点，作者归因于朴素打包会对较短的文本答案降权，损害图像理解类基准所需的能力。
创新点与影响
- 核心贡献（论文自述四点）：(a) 训练出当时最大上下文规模的视频-语言 transformer 之一，在长视频理解与长上下文事实检索上刷新纪录；(b) 提出针对视频-语言联合训练的一组具体解法——loss 加权平衡语言/视觉、masked sequence packing 处理变长混合序列、模型生成 QA 数据集解决长序列 chat 数据稀缺；(c) 一套高度优化、开源的 RingAttention + masked sequence packing 实现；(d) 完整开源 7B 参数模型家族（LWM-Text/-Chat 处理长文档，LWM/-Chat 处理超 1M token 的视频）。
- 它改变了什么：证明了”纯自回归 + 离散视觉 token（VQ）“这条路线可以扩展到百万级上下文，把长视频理解从”只能抽样几帧”变成”可同时 attend 数千帧”；其底层 RingAttention/BPT 基础设施后来被更广泛复用于长上下文训练（如 lapa-latent-action-pretraining 直接把 LWM-Chat-1M 当 VLM 骨干做无标注视频潜动作预训练）。
- 作者自陈的局限（Conclusion “Limitations and Future Work”）：① 视频 tokenization 有待改进——本文用的是逐帧图像 tokenizer（VQGAN），更紧凑的视频专用 tokenizer 既能提升画质也能处理更长视频或更高效地训练短视频；② 更多模态——工作为引入音频等更多模态铺路，本文未涉及；③ 更好更多的视频数据——相比文本/图像数据集，视频数据集在视觉质量和数量上都不足，未来可通过采集 YouTube 视频改善。
- 论文自身的评测也暴露了权衡：chat 能力越强、长上下文检索精度越差（MT-Bench vs Needle Acc）；视觉理解基准全面落后于 CLIP 骨干基线，说明”VQ token 自回归”路线在视觉-语言对齐质量上当时仍不如”CLIP 编码 + LLM”路线成熟。
原始链接
- 论文（arXiv abs）：https://arxiv.org/abs/2402.08268
- 论文 PDF：https://arxiv.org/pdf/2402.08268
- 项目主页：https://largeworldmodel.github.io/lwm （组织首页：https://largeworldmodel.github.io/）
- 代码（GitHub）：https://github.com/LargeWorldModel/LWM
- 模型（HF org）：https://huggingface.co/LargeWorldModel
- 基础设施前置论文 RingAttention（ICLR 2024）：https://arxiv.org/abs/2310.01889（详见 ring-attention）
一手源存档（sources/）
- lwm-large-world-model—github-readme — GitHub README 快照（
sources/world-model/2024/lwm-large-world-model--github-readme.md） - lwm-large-world-model—hf-card — HF 模型卡片快照，LWM-Text-Chat-1M（
sources/world-model/2024/lwm-large-world-model--hf-card.md） - lwm-large-world-model—hf-card-vision — HF 模型卡片快照，LWM-Chat-1M-Jax（视觉-语言版）（
sources/world-model/2024/lwm-large-world-model--hf-card-vision.md） - lwm-large-world-model—project-page — 项目主页快照（
sources/world-model/2024/lwm-large-world-model--project-page.md） - arXiv 全文 PDF（2402.08268v1，arXiv 原文 PDF，不入 git）：见上方 arXiv 链接