一句话定位
Lumina-mGPT 2.0 是一个从零训练（train-from-scratch）的独立解码器式自回归图像生成模型（2B / 7B），不依赖任何预训练权重，用统一的 next-token 范式把 T2I、图像对生成、主体驱动、多轮编辑、可控生成、稠密预测全部塞进一个模型，在 GenEval 上以推理优化策略达到 0.80、DPG 达到 84.30，与 DALL·E 3 / SANA / Lumina-Image 2.0 等扩散 SOTA 持平甚至局部反超。
背景与定位
多模态自回归（AR）范式因其”用 next-token 统一所有模态与任务”的优雅性而复兴：2024 年 chameleon 重新点燃这条路线，lumina-mgpt（v1）作为首个开源工作证明 decoder-only AR 能生成高分辨率、灵活宽高比的图像，质量对标 SDXL。但 v1 有四个硬伤，本作正是逐一拆解：
- 受预训练模型束缚——v1 从 Chameleon 7B/34B 初始化，架构、图像/文本 tokenizer 都被锁死，无法换更好的组件，也继承了 Chameleon 的 license 限制，挡住商用。
- 多任务相互冲突——v1 对每个下游任务单独 SFT、各存一份 checkpoint，任务目标无法与主 T2I 对齐。
- 缺推理优化——AR 要数千步 next-token，推理极慢，v1 没做任何加速。
- 质量落后扩散 SOTA——仍不及 Lumina-Image 2.0 / SANA / DALL·E 3。
时间线（据 README News）：模型与 T2I 推理代码 2025-04-03 首发；技术报告 2025-07-25 上 arXiv（2507.17801v1，2025-07-23 提交）；2025-08-02 放出 image-to-image 推理 + all-in-one（Omni）checkpoint；2025-08-15 华为 MindSpeed MM 原生支持。frontmatter
date: 2025-04指首发月份。
同期路线分两支：一支做”建模混合”（show-o / Transfusion 把 AR 换成扩散做图像；Janus / Janus-Pro 给理解端接 SigLIP 连续编码器，但理解/生成不一致，难做统一生成）；另一支做”纯 AR 堆资源”（emu3 保持纯 AR 但生成质量仍偏弱、统一生成潜力未挖）。Lumina-mGPT 2.0 选择纯 AR + 从零训练，用 64 张 A100 跑 4–5 周的”适度算力”复刻 GPT-4o 图像生成的部分能力。
模型架构
Backbone：decoder-only Transformer（纯自回归，next-token prediction），结构沿用 v1 的 decoder-only 形态，但全部参数随机初始化、从零训练，因此可以自由设计架构、自由选 tokenizer、无 license 约束。
架构配置（Table 2）：
| 模型 | 参数 | 词表 | Hidden | Intermediate | Heads | KV Heads | Layers |
|---|---|---|---|---|---|---|---|
| Lumina-mGPT 2.0 | 2B | 171,385 | 2,048 | 8,192 | 32 | 32 | 32 |
| Lumina-mGPT 2.0 | 7B | 171,385 | 4,096 | 11,008 | 32 | 32 | 32 |
缩放策略以增大 hidden dimension 为主（层数固定 32，head 数固定 32，full attention 即 KV Heads = Heads，未用 GQA）。
图像 tokenizer：SBER-MoVQGAN（270M）。作者对主流 AR 用 tokenizer 做了系统的重建质量对比（MS-COCO，Table 1）：
| Tokenizer | 年份 | 下采样 | PSNR↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|---|---|
| VQGAN | 2021 | 16×16 | 18.70 | 0.48 | 0.17 |
| ViT-VQGAN | 2022 | 8×8 | 18.88 | 0.60 | 0.16 |
| MaskGIT-VQ | 2022 | 16×16 | 18.55 | 0.47 | 0.19 |
| SBER-MoVQGAN | 2023 | 8×8 | 22.77 | 0.63 | 0.08 |
| LlamaGen-VQ | 2024 | 8×8 | 21.91 | 0.61 | 0.09 |
| Chameleon-VQ（v1 用） | 2024 | 16×16 | 18.63 | 0.47 | 0.18 |
SBER-MoVQGAN 重建质量最佳（PSNR/SSIM/LPIPS 全面领先），决定了生成质量上限，故被采用。代价：8×8 下采样导致 image token 序列更长，推理时间/成本上升（这也是后面要做加速的动机）。
文本侧：无预训练文本编码器。不同于 LlamaGen/Parti 那种”预训练 text encoder + MLP 投影”的做法，本作直接用 QwenTokenizer（来自 Qwen2-VL） 把文本编码成离散 token，与图像 token 一起喂进同一个 decoder，做纯粹的 next-token prediction，省掉了加载预训练 text encoder 的步骤。文本 + 图像共用 171,385 的词表。
条件注入与多任务统一（核心创新）：利用 AR 的”raster-scan 顺序天然把先生成的区域当上下文”这一性质，把所有 text-image-to-image 任务统一为双面板（dual-panel）图像生成——把参考图/条件图放在上半部分（<upper half>），待生成图放在下半部分（<lower half>），竖直拼成图像网格联合建模。<upper half> / <lower half> 是特殊 token。任务类型靠 system prompt 区分（Table 3 给出 T2I、subject-driven、image-editing、controllable、dense-prediction 五类模板），其中 <Control Task> 指代 canny/depth/pose 等。损失只对 image token 计算，text token 不参与 loss——这是 AR 图像生成的标准做法。这样所有任务都被统一成”text-to-image”，无需额外架构改动或单独 SFT 阶段。
数据
T2I 数据：从 lumina-image-2-0（Lumina-Image 2.0）的数据集中抽取的子集，含真实 + 合成数据，已用 OmniCaptioner 做过精细过滤与 re-captioning。
多任务数据（各任务用不同来源）：
- 主体驱动生成 → Subject200K
- 图像编辑 → OmniEdit
- 可控生成 + 稠密预测 → 从 T2I 数据集随机采样 200K 条自建
分阶段数据规模（层级化 hierarchical data，质量随分辨率递增）：
- 256px 阶段：50M 数据
- 512px 阶段：19M 数据
- 768px 阶段：8M 数据
随数据集规模递减，数据质量逐级提升（与 Lumina-Image 2.0 的层级化训练理念一致）。美学/安全过滤的具体阈值未单独披露（继承自 Lumina-Image 2.0 的过滤流程 + OmniCaptioner 重标注）。
训练方法
训练目标：纯 next-token prediction（离散 token 的交叉熵）——非 diffusion / 非 flow matching / 非 masked-token，是标准自回归语言建模式的图像生成，loss 只算 image token。
层级化三阶段训练（hierarchical three-phase）：
- 256px 预训练：learning rate = 2e-4，50M 数据
- 512px 微调：lr 降到 2e-5，19M 数据
- 768px 微调：lr 2e-5，8M 数据
全局 batch size 通过梯度累积在 512–1024 间动态调整。多任务（subject/edit/controllable/dense）以”原生多任务”方式与 T2I 一起训（所有任务都是 text-to-image），无需额外 SFT 阶段，这是相对 v1”每任务单独 SFT”的关键改进。
模型成长（Model Growth）：从 2B 扩到 7B，主要靠增大 hidden dim。观察到模型越大，训练 loss 收敛越快、生成质量（连贯性、细节、对精细 prompt 的保真度）越好（Fig 10 三阶段 loss 曲线显示 7B 全程 loss 低于 2B）。
偏好对齐 / RLHF / DPO / 蒸馏：未使用。本作不做 RL 或偏好对齐训练，质量提升完全靠从零训练 + 好 tokenizer + 推理期策略（见下）。
Infra（训练 / 推理工程）
训练算力：64 张 A100，约 4–5 周（论文反复强调这是”适度算力”复刻 GPT-4o 图像能力的一部分）。分布式训练跨 64 A100，batch 用梯度累积调控。更细的并行策略（TP/PP/ZeRO 等）、精度、吞吐未在报告中披露。
推理加速（两条正交策略，可叠加）：
- 模型量化（TorchAo 后训练量化）：权重量化到 4-bit 整数 + 128 元素分组，激活保持 bfloat16；配合 PyTorch 2.0 的
torch.compile（reduce-overhead 模式）做 kernel auto-tuning 与静态图优化，不改模型架构。实测采样时间降 48%、显存降 47%。 - Speculative Jacobi Decoding（SJD）：把确定性 Jacobi 迭代与随机采样结合，引入”基于 draft/target 分布似然比的概率收敛准则”来接受/拒绝 token，实现并行解码且保留采样多样性。实测采样时间再降 72%。
- 工程难点：SJD 需要动态 KV cache（token 可被接受或回滚，序列长度可变），与
torch.compile要求的静态预分配 KV cache 冲突。作者提出静态 KV cache + 静态因果 attention mask + 指针机制：预分配固定大小缓冲，用指针管理有效序列长度，避免动态扩容；mask 预计算、推理时用指针调整，从而让 SJD 兼容静态编译框架。
- 工程难点：SJD 需要动态 KV cache（token 可被接受或回滚，序列长度可变），与
实测推理开销（A100，README 数据，768×768）：
| 方法 | 推理时间 | 显存 |
|---|---|---|
| Lumina-mGPT 2.0（baseline） | 694s | 80 GB |
| + speculative_jacobi | 324s | 79.2 GB |
| + speculative_jacobi & quant | 304s | 33.8 GB |
可见 SJD 砍掉一半多时间、量化把显存从 80GB 压到 33.8GB（可在单卡 40GB 级显卡跑）。局限：即便优化后仍需数分钟级采样，这是所有 AR 生成模型的通病。
评测 benchmark（把效果讲清楚）
T2I —— GenEval / DPG（Table 4）。† 表示用了采样优化策略（thinking + inference-time scaling）：
| 模型 | 类型 | 参数 | GenEval Overall | DPG Overall |
|---|---|---|---|---|
| SANA-1.6B | 扩散 | 1.6B | 0.66 | 84.80 |
| DALL·E 3 | 扩散 | — | 0.67 | 83.50 |
| Lumina-Image 2.0 | 扩散 | 2.6B | 0.73 | 87.20 |
| Emu3 | AR | 8.0B | 0.54 | — |
| Janus-Pro-7B | AR | 7B | 0.80 | 84.19 |
| Lumina-mGPT（v1） | AR | 7B | 0.56 | 79.70 |
| Lumina-mGPT 2.0† | AR | 2B | 0.68 | 82.05 |
| Lumina-mGPT 2.0† | AR | 7B | 0.80 | 84.30 |
7B 版 GenEval 0.80（与 Janus-Pro-7B 持平，居 AR 顶级；在 “Two Obj.” 0.92 / “Color Attri.” 0.72 子项尤其突出），DPG 84.30（论文称”刷新 AR 上限”，且高于 DALL·E 3 的 83.50；但仍略低于 SANA-1.6B 的 84.80 与 Lumina-Image 2.0 的 87.20——并非全面超过扩散 SOTA）。作者指出 GenEval 主要靠 VLM 评文图对齐、不评画质美学；在定性对比（Fig 8）里 Lumina-mGPT 2.0 的真实感/细节/构图明显优于 Janus-Pro 和 v1。
高质量采样消融（Table 7，7B，GenEval）——两个推理期策略逐项加成：
| 配置 | Two Obj. | Counting | Position | Color Attri. | Overall |
|---|---|---|---|---|---|
| Lumina-mGPT 2.0（朴素单图） | 0.87 | 0.44 | 0.44 | 0.54 | 0.69 |
| + Thinking Before Generation | 0.87 | 0.49 | 0.52 | 0.62 | 0.73（+4%） |
| + Inference-Time Scaling | 0.92 | 0.57 | 0.70 | 0.72 | 0.80（+11%） |
- Thinking Before Generation：先用外部 LLM（GPT-4o）对用户 prompt 做 step-by-step CoT 分析并改写成更清晰、信息更丰富的 prompt，再喂给模型。平均 +4%，position 和 color-attribution 各 +8%。
- Inference-time Scaling（best-of-N）：随机生成一批候选图，用多个 verifier（VQAScore + LAION-AestheticScore + PickScore）打分选最优。从 16 张候选里选，相比单图 +11%。本作是”纯 AR 推理期 scaling”的首次尝试。
可控生成（Table 5，VisualCloze benchmark）——Canny / Depth 条件，与 ControlNet / OmniControl / OneDiffusion / OmniGen 比（专家模型灰底）。Lumina-mGPT 2.0 作为单一通才：Canny 条件 F1 = 0.49（非专家里最高）、FID = 30.89；Depth 条件 RMSE = 17.42、FID = 36.52，在可控性与质量上达到非专家方法的第一/第二，且文图一致性（CLIP-Score Canny 34.44 / Depth 34.03）保持高位。相比 v1 的 Canny FID 85.03、Depth FID 61.44 是巨大跃升。
主体驱动生成（Table 6，1000 样本）：DINOv2 = 76.60（最高，主体身份保持最好）、CLIP-I = 87.37、CLIP-T = 33.90，超过 OminiControl / OneDiffusion / OmniGen 等。
加速消融（Fig 11）：量化降时 48% / 降显存 47%；叠加 SJD 再降时 72%，画质保持。
模型成长消融：7B 在 GenEval/DPG 全面优于 2B；7B 训练 loss 收敛更快、视觉更稳定细节更丰富。
创新点与影响
核心贡献：
- 首个从零训练、不依赖任何预训练权重的独立 decoder-only AR 图像模型——摆脱 Chameleon 等预训练模型的架构 + tokenizer + license 三重束缚，可自由选 SBER-MoVQGAN、自由缩放到 2B/7B、HF 上以 apache-2.0 开源。
- 用 dual-panel raster-scan + system prompt 把 6 类生成任务原生统一进一个纯 AR 模型，所有任务即”text-to-image”，无需额外模块或单独 SFT，证明纯 AR 架构在统一生成上的天然优势（这是相对 Janus-Pro 解耦编码、Emu3 仅做 T2I 的关键差异化）。
- 首次在纯 AR 上做推理期 scaling（best-of-N + 多 verifier）与 thinking-before-generation（GPT-4o 改写 prompt），把 GenEval 从 0.69 推到 0.80，证明”牺牲推理效率可显著换质量”。
- 工程上让 SJD 与量化/torch.compile 共存（静态 KV cache + 静态 mask + 指针），把 AR 的慢推理从 694s 压到 304s、显存压到 33.8GB。
影响：作为上海 AI Lab Alpha-VLLM 系列（lumina-mgpt → Lumina-Image 2.0 → 本作）的纯 AR 旗舰，给”纯自回归能否追平扩散 SOTA”提供了肯定的开源答案，并被华为 MindSpeed MM 原生支持（2025-08）。Omni 版（all-in-one checkpoint）补齐 image-to-image 全任务推理。
已知局限：
- 即使优化后采样仍需数分钟级，用户体验受限（所有 AR 生成的通病）。
- “thinking” 依赖外部 LLM（GPT-4o），模型自身不能自主思考；未来计划内化。
- 当前只做多模态生成，不含多模态理解；未来计划补理解能力。
- 8×8 tokenizer 带来长序列，是推理成本的根因。
- 未做任何 RLHF/DPO 偏好对齐，质量靠推理期策略兜底。
原始链接
- arxiv_abs: https://arxiv.org/abs/2507.17801
- arxiv_pdf: https://arxiv.org/pdf/2507.17801
- github: https://github.com/Alpha-VLLM/Lumina-mGPT-2.0
- hf (7B T2I): https://huggingface.co/Alpha-VLLM/Lumina-mGPT-2.0
- hf (7B Omni / all-in-one): https://huggingface.co/Alpha-VLLM/Lumina-mGPT-2.0-Omni
一手源存档（sources/）
- arxiv-2507.17801.pdf （arXiv 2507.17801v1，2025-07-23 提交，技术报告） （arXiv 原文 PDF，不入 git）
- readme.md （GitHub README 清洗版，含 A100 推理耗时表 + News 时间线）
- github-readme.md （GitHub 页面原始抓取，含导航噪声，内容为上者超集）
- hf-modelcard.md （HF model card，license: apache-2.0）