AI Research 技术调研

GauGAN2 / PoE-GAN — 文字 + 语义涂鸦 + 草图多模态合成风景图

14分钟阅读

一句话定位

GauGAN2 是 NVIDIA Research 2021-11 发布的产品级 AI 绘画 demo，把初代 GauGAN（语义涂鸦→风景图，基于 SPADE）扩展成单一 GAN 同时吃「文字 + 语义分割 + 草图 + 风格图」四种模态、并能用任意子集（甚至空集）生成的多模态合成器；其背后的研究方法就是同期 NVIDIA 论文 PoE-GAN（Product-of-Experts GANs，arXiv 2112.05130）——用「专家分布连乘 = 约束集合求交」的概率视角融合多模态，在 256 块 A100-80GB 上用 ~1000 万张高分辨率风景图训练，单模态下 FID 反超各自的专用 SOTA（如风景文本→图 FID 优于 DF-GAN，分割→图优于 SPADE/OASIS）。

背景与定位

  • 产品脉络：初代 GauGAN（=SPADE，spade 谱系）做的是「语义分割掩码 → 照片级风景图」，落地为 NVIDIA Canvas（RTX GPU 上实时涂鸦上色）。GauGAN2 在此之上加入文字描述这一新模态——输入 “sunset at a beach” 即可实时出图，再换成 “sunset at a rocky beach”/“afternoon”/“rainy day” 模型立即改图；还能一键由文字生成分割图，再切到草图模式微调。它把 segmentation mapping + inpainting + text-to-image 合进一个模型，官方称是「最早在单一 GAN 框架内组合 text/segmentation/sketch/style 多模态的工作之一」。
  • 技术脉络中的位置：处于 2021 年 t2i 三条路线（GAN / 自回归 / 扩散）的 GAN 一脉。同期对照是自回归的 dall-e-1、cogview，以及刚出现的扩散路线 glide、diffusion-models-beat-gans、ddpm。GauGAN2 不追自然图像通用 t2i，而是聚焦风景/景观域做到产品级实时、可交互、可多模态混合控制——这是它相对纯 t2i 的差异化卖点。
  • 相对前置工作改进：相比单模态模型（只吃文字 or 只吃分割 or 只吃草图），PoE-GAN 用一个模型覆盖 2^M 种条件组合；相比已有多模态工作 TediGAN（依赖预训练无条件 StyleGAN，难在复杂数据上训）和并发的 VQGAN 式 concat+modality-dropout 方案，PoE-GAN 的乘积专家设计在缺失模态和多样性上显著更优。

模型架构

注意：GauGAN2 是产品 demo，官方博客只给高层描述（多模态单一 GAN、10M 风景图、Selene 超算）；下述架构/数字来自其同期研究论文 PoE-GAN（2112.05130），作者 Xun Huang / Arun Mallya / Ting-Chun Wang / Ming-Yu Liu（NVIDIA），与博客所述的「单一 GAN 融合 text+seg+sketch+style、10M 风景图」完全吻合，可视为 GauGAN2 的方法论底座。

  • 总体框架：GAN（非扩散、非自回归）。生成器 = product-of-experts 生成器；判别器 = 多尺度多模态投影判别器 (MMPD)。目标是用单生成器建模 p(x|Y), ∀Y ⊆ {text, seg, sketch, style}，空集时退化为无条件 GAN。
  • 乘积专家 (PoE) 建模：核心假设——联合条件分布正比于各单模态条件分布之连乘 p(z|Y) ∝ p0(z)·∏_{yi∈Y} q(z|yi)，几何上等价于「各模态约束集合求交」。每个专家 q(z|yi)=N(μi,σi) 是高斯，高斯连乘仍是高斯，故乘积分布有闭式解（式(3)：精度加权求均值/方差）。模态越多→约束越多→潜空间越窄。
  • 多尺度分层潜空间：潜码切成 z=(z0,z1,...,zN)，z0 是向量、zk 是逐级翻倍分辨率的特征图（r1=4，rN=图像分辨率），类似分层 VAE（NVAE/BIVA），但编码的是「条件模态信息」而非图像本身。只有空间模态（分割、草图）有跨分辨率 skip 注入 Local PoE-Net；文字、风格只提供全局信息。
  • 各模态编码器：
    • 文字 = CLIP 文本编码器（冻结）→ 4 层 MLP（dim 512）。
    • 分割 / 草图 = 带 input-skip 的 CNN，多次下采样、把各级嵌入加到对应卷积层输出，并把中间特征经 skip 喂给 decoder。
    • 风格图 = 带 instance-norm 的 ResNet，取每个残差块输出的均值+标准差拼成风格码。
  • Global PoE-Net：对每个模态用 MLP 预测 q(z0|yi)，与先验 p0(z0)=N(0,I) 做高斯连乘并采样 z0，再经 MLP 转成全局向量 w（512 维）。
  • Decoder：StyleGAN 式残差块堆叠，每块含 Local PoE-Net（在当前分辨率对各空间模态做高斯连乘采样 zk）+ LG-AdaIN 层——这是 AdaIN（全局 w 调制）与 spade（空间逐位 zk 调制）的结合体：LG-AdaIN(h,zk,w)=γw·(γzk·(h-μ)/σ + βzk) + βw。
  • 判别器 MMPD：把投影判别器 (Miyato) 推广到多模态——f(x,Y)=Linear(Dx(x)) + Σ Dyi(yi)^T Dx(x)，对空间模态（seg/sketch）在多分辨率上分别算投影损失并逐位置/逐分辨率平均。
  • 参数/分辨率策略：分数据集配置（见 Table 5）。风景 1024×1024 模型：Dec/Dis 基础通道 32、最大 1024；潜空间基础通道 2、最大 32。MM-CelebA-HQ 直接 1024×1024；MS-COCO 256×256；消融在 256/64 上做。

数据

  • 博客口径：GauGAN2 在 1000 万张高质量风景图上训练。
  • 论文口径（三套数据）：
    1. Landscape（专有，GauGAN2 用的就是它）：≈1000 万张 >1024×1024 的风景图，无人工标注——分割用 DeepLab-v2 伪标注、草图用 HED 边缘检测 + sketch simplification 伪标注、文字直接用 CLIP 图像嵌入当作伪文本嵌入（即不需要真实 caption，靠 CLIP 图文共享空间）。风格从 GT 图像提取。随机 5 万张做测试集，训练时随机裁到 1024×1024。
    2. MM-CelebA-HQ：3 万张 1024×1024 人脸（24k 训/6k 测），seg 人工标注、text 由 GT 属性标签自动生成（Xia et al.）、sketch 用 Photoshop 边缘提取+简化。
    3. MS-COCO 2017：123,287 张复杂场景（118,287 训/5,000 测），seg 用 COCO-Stuff，最多 5 条 caption 经 CLIP 编码，sketch 用 HED+简化伪标注。
  • 关键 trick：四模态里只有风格来自 GT 图像，其余对大规模无标注风景数据全靠伪标注 pipeline 自动生成——这正是能把数据堆到 10M 量级的工程前提。

训练方法

  • 目标函数：标准 GAN（非饱和损失）+ 三类辅助损失：
    • L_GAN（non-saturated）+ R1 梯度惩罚（lazy regularization，每 16 步一次）。
    • KL 潜空间正则 L_KL：把每个分辨率的条件潜分布拉向先验，保证边缘化后匹配无条件先验（PoE 自洽），并抑制条件 mode collapse——消融显示去掉 KL 后专家方差趋零、退化成 concat 基线、多样性骤降。KL 项按分辨率重平衡（仿 NVAE）。
    • 对比损失：图像对比损失（VGG-19 relu5_1 特征，real vs fake，比感知损失更好）+ 文字条件对比损失（对齐图文，仅对文字模态用——其它模态显存吃不消）。
  • 模态 dropout：每次迭代随机丢弃部分输入模态（dropout 0.5），消融证明这是处理「测试时缺模态」的关键，否则模型过度依赖最强模态（如 COCO 上的分割）。
  • 优化与稳定化 trick：Adam(β1=0,β2=0.99)，生成器权重 EMA，leaky ReLU(0.2)，equalized learning rate，anti-aliased resampling，梯度范数裁剪到 10，混合精度训练，卷积/全连接输出 clamp 到 ±256，PoE 层对数方差用 θ·tanh(·/θ) 限幅（先验 θ=1、模态专家 θ=10），对比损失温度初始 0.3 可学。
  • 多阶段/蒸馏：未使用——单阶段端到端 GAN 训练，无 SFT/RLHF/偏好对齐，无步数蒸馏（GAN 本就单步推理）。
  • 关键超参（风景 1024²）：lr 0.004，batch size 768，KL 权重 text/seg/sketch/style = 0.05/0.1/1/0.01，图像对比损失权 3、文字对比损失权 0.3。

Infra（训练 / 推理工程）

  • 博客：用 NVIDIA Selene（DGX SuperPOD，当时全球 Top-10 超算之一）训练。
  • 论文 Table 6（精确数字）：
    • 风景 1024×1024 模型：256 块 A100-80GB，训练 101 小时，单图推理 0.12s（单张 TITAN RTX）。
    • MM-CelebA-HQ 1024²：16×V100，71h；256²：8×V100，35h。
    • MS-COCO 256²：32×V100，85h；64²：8×V100，76h。
    • 除风景用 A100 外，其余均用 Tesla V100。
  • 推理形态：GAN 单次前向，实时/亚秒级——这是它能做成可交互产品 demo（NVIDIA AI Demos 网站、Canvas app）的工程基础；无需扩散的多步采样。部署落地于 NVIDIA Canvas（RTX GPU 桌面应用，由 GauGAN 技术驱动）。

评测 benchmark（把效果讲清楚）

数字来自 PoE-GAN 论文（Clean-FID）。列含义：无条件 / 文本 / 分割 / 草图 / 全部模态。

MM-CelebA-HQ (1024×1024)，FID↓（Table 1）：

  • PoE-GAN：Uncond 10.5 / Text 10.1 / Seg 9.9 / Sketch 9.9 / All 8.3。
  • TediGAN（多模态对照）：Text 38.4 / Seg 45.1 / Sketch 45.1 / All 45.1 —— PoE-GAN 全面大幅领先。
  • 单模态专用 SOTA：StyleGAN2 uncond 11.7、SPADE-Seg 48.6、pSp-Seg 44.1、SPADE-Sketch 33.0、pSp-Sketch 45.8 —— PoE-GAN 在各自模态上反超。

MS-COCO 2017 (256×256)，FID↓（Table 2）：

  • PoE-GAN：Uncond 43.4 / Text 20.5 / Seg 15.8 / Sketch 25.5 / All 13.6。
  • 对照：StyleGAN2 uncond 43.6；文本 DF-GAN 45.2、DM-GAN+CL 29.9（PoE-GAN 20.5 更好）；分割 SPADE-Seg 22.1、VQGAN 21.6、OASIS 19.2（PoE-GAN 15.8 最好）；草图 SPADE-Sketch 63.7（PoE-GAN 25.5 远好）。
  • 结论：即便 PoE-GAN 是「通用多模态」训练，单模态测试仍优于为该模态专门设计的 SOTA；模态越多 FID 越低（All 最佳）。

消融（Table 3/4，用 LPIPS↑ 衡量多样性）关键结论：

  • 乘积专家 vs「concat+modality-dropout」基线：基线只有全模态时好，缺模态时 FID 暴涨、LPIPS 低（mode collapse）。
  • 去 KL 损失 → 专家方差趋零、退化为 concat、多样性骤降。
  • 去模态 dropout → 缺模态鲁棒性崩（COCO-64² uncond FID 26.6→86.2，Table 4 行 g→c；模型过度依赖最强模态如分割）。
  • 去 MMPD（换成 concat 判别器）→ 各设定 FID 显著变差。
  • 对比损失「有用但非必需」：图像对比损失普遍微降 FID，文字对比损失主要改善 text→image。

博客口径：相比专门的 text-to-image 或 segmentation-to-image SOTA，GauGAN2 背后的网络产出「更高的多样性和更高质量」。

创新点与影响

  • 核心贡献：(1) 乘积专家生成器——用「约束求交=分布连乘」的概率视角，优雅地在单一 GAN 内融合任意子集模态、原生处理缺失模态；(2) 多尺度分层潜空间 + LG-AdaIN，把全局（AdaIN）与空间（SPADE）调制统一；(3) 多尺度多模态投影判别器 MMPD；(4) KL 正则 + 模态 dropout 解决多模态条件 GAN 的 mode collapse 与缺模态鲁棒性。结果是「单模型反超各单模态 SOTA」。
  • 产品/生态影响：把研究方法落成 GauGAN2 交互 demo 和 NVIDIA Canvas 产品，是 2021 年「文字+涂鸦混合控制、实时出图」的标志性产品级演示；与同期自回归/扩散 t2i 形成 GAN 一脉的对照样本。在扩散全面接管 t2i（glide→Imagen/SD）之前，它代表了 GAN 路线在可控、实时、多模态混合输入上的工程高水位。
  • 已知局限（论文明示）：(1) 不同模态信息矛盾时输出质量差；(2) 多模态训练的模型在单模态测试时弱于「只训该单模态」的模型——说明跨模态融合仍有提升空间；(3) 聚焦风景/人脸/COCO 域，非开放域通用 t2i；(4) 作者主动讨论 deepfake/misinformation 滥用风险，承诺提供取证与水印支持。

原始链接

一手源存档（sources/）

关系图谱

反向链接