Paint by Word

一句话定位

Paint by Word（MIT CSAIL，2021-03）提出”用文字当画笔”的零样本语义局部编辑：把现成的大模型 clip（图文相似度网络）与 stylegan2 / biggan（无条件/类条件生成器）解耦组合，在用户画出的掩码区域内优化 GAN 的中间潜变量，使该区域匹配任意自由文本（如”rustic”、“opulent”、“happy dog”），同时区域外不变。关键发现：用非梯度的 CMA-ES 替代梯度下降可避开对抗样本、保住真实感；在窄域 CUB 鸟类上语义匹配优于同期的 dall-e-1（更贴合描述 65.4%、更真实 89%）。

背景与定位

• 解决的问题：当时（2021 初）文生图刚起步，DALL-E 1、CLIP 相继问世。已有的”按图案/分割上色”工作（paint-by-number，如 GauGAN/spade、GAN Dissection 的语义画笔）只能从有限词表的语义概念里选；而文生图（DALL-E、AttnGAN 等）是 AI 一次性合成整张图。本文提出介于两者之间的新任务——zero-shot semantic image painting / paint-by-word：让用户用任意自由文本 + 任意掩码区域对一张已生成图做局部语义改写，词表与笔触在训练时都未知。
• 技术脉络中的位置：是 “CLIP 引导 GAN 潜空间优化” 这一 2021 年风潮里的早期代表（同期社区有 Ryan Murdock 的 The Big Sleep / Aleph2Image 用 CLIP 当梯度源驱动 BigGAN）。本文的差异化在于：(1) 把这套思路正式化为局部编辑任务并配掩码；(2) 提出 spatially-split generator（空间分裂生成器） 让掩码内外解耦；(3) 用 CMA-ES 替代梯度解决对抗样本问题；(4) 做了系统的人评。它早于扩散时代的文本+掩码 inpainting（如 GLIDE inpaint、Blended Diffusion、Stable Diffusion inpainting），是”文本+掩码局部编辑”范式的先声。
• 相对前置工作的改进：摆脱了有限语义词表（vs paint-by-number）和”训练时需预先准备好可控方向”（vs GANSpace/InterFaceGAN 这类需事先找方向的潜空间方法）；以零样本、全文本相似度驱动局部潜变量改动。
• 注：本文不解决真实图编辑所需的 GAN inversion（图像反演到潜空间），作者明确将其视为正交问题，假设待编辑图已在生成器潜空间中表示。

模型架构

本文不训练新的大模型，而是把两类现成网络组装成一个优化框架：

1. 语义相似度网络 C(x,t)：用现成 CLIP ViT-B/32（在 4 亿图文对上预训练）计算图像与文本的余弦相似度 C(x,t)=eᵢ·eₜ / (‖eᵢ‖‖eₜ‖)。只负责语义一致，不管真实感。也提到可换 ALIGN。
2. 生成器 G(z)：负责真实感。用 StyleGAN2（窄域：CUB 鸟、LSUN 卧室）或 BigGAN（广域：Places、ImageNet）。

核心架构创新——空间分裂生成器（spatially-split generator）：

• 把生成器拆成两步 x = G(z) = h(f(z))，取中间有空间结构的表示 w = f(z)。
• 给定用户掩码 m，把 w 拆成掩码外固定部分 w₀ 与掩码内可变部分 w₁ = w⊙m，定义新生成器 G_{z,m}(w) = h(w₀ + w⊙m)。固定 w₀ = w − w⊙m，只让掩码内的 w 变化。这个”放松”让 G_{z,m} 能生成原始 G(z) 生不出来的图，并解耦掩码内外（论文 Fig.3：不分裂时改一处会牵动全图，分裂后只动选中物体）。
• BigGAN 实现：w 取生成网络第一个卷积块的 feature map 输出，w⊙m 直接把掩码外的 feature map 位置置零。
• StyleGAN 实现：w 是 style 向量，按通道归一化在所有层、所有空间位置统一调制；本文把 style 潜变量在空间上分裂——掩码外用一套 style 调制（固定 w₀），掩码内用另一套 style 调制，在每层对应分辨率上施加（相当于模型有 w₀、w 两个 style 向量而非一个）。

损失设计：

• 语义一致损失（区域内）：L_sem(w) = −C_{t,m}(G_{z,m}(w))，其中 C_{t,m}(x)=C(x⊙m, t) 把掩码外置零，让 CLIP 只看选中区域。
• 图像一致损失（区域外不变）：L_img(w) = d(x⊙(1−m), G_{z,m}(w)⊙(1−m))，d 为 L2 像素差 + LPIPS 感知相似度之和。
• 总损失：L(w) = L_sem(w) + λ_img·L_img(w)，对 w 做优化 w* = argmin L(w)。
• 无掩码的全图版本退化为最简形式 z* = argmax C(G(z), t)（Eq.1）。

参数量/分辨率：用现成权重，未额外报告参数量；分辨率随 backbone——CUB 鸟用 256px StyleGAN2，卧室用 LSUN StyleGAN2，广域用 BigGAN（Places/ImageNet）。

数据

本文不做大规模训练数据收集，只用现成数据集训/取生成器，CLIP 用现成权重：

• CLIP：现成 ViT-B/32，预训练于 4 亿（400M）图文对的专有数据（OpenAI），本文未触碰其训练。
• StyleGAN2 生成器训练数据：
  • CUB-200-2011 鸟类数据集（Caltech-UCSD Birds，用于全图生成实验；评测用其中 500 条鸟类描述，与 DALL-E 评测同一测试集）。生成器无条件训练，训练时不给类标签也不给文本。
  • LSUN bedrooms（卧室局部编辑大规模人评实验）。
• BigGAN 生成器训练数据：MIT Places（场景）与 ImageNet（广域物体），用现成 BigGAN 权重展示广域编辑。
• 合成/标注/re-captioning：不涉及——方法是推理期优化，无训练数据标注/配比/清洗环节。
• 评测用文本：卧室实验自建 50 条描述颜色/纹理/风格/状态/形状的文本；鸟类实验用 DALL-E 测试集的 500 条鸟描述。

训练方法

本文的”训练”主要是推理期的潜变量优化，而非更新网络权重：

1. 生成器侧训练（一次性）：CUB 鸟的 256px StyleGAN2 用 Adaptive Data Augmentation (ADA, StyleGAN2-ADA) 训练，“standard training settings”，无条件。其余 backbone 直接用现成权重。CLIP/BigGAN/StyleGAN 权重均来自 OpenAI/Google/Nvidia 公开发布。
2. 核心”训练” = 单图潜变量优化（推理期，每张图/每次编辑独立优化）：
   • 目标：argmin L(w)（语义损失 + 图像一致损失）。
   • 优化器选择是关键创新：
     • 梯度法（Adam）：能快速把 CLIP 分数拉高，但极易得到对抗样本——分数很高却长得不像真实物体（论文 Fig.4：优化”a yellow bird flying”，Adam 分数好看但图越来越不像鸟）。原因：C、G 都是为”分布上的期望行为”训练的，不保证对每个单点稳健，优化单实例容易让两个模型同时失常。
     • 非梯度法（CMA-ES，协方差矩阵自适应进化策略）：优化一个高斯分布使其采样的期望损失最小，而非追单点最优。单点分数不如 Adam，但采样图真实感显著更好且语义匹配良好。实践流程：先 CMA 再 Adam（CMA+Adam）。
   • 这本质是一种”无需为每个概念预先训练可控方向”的零样本机制。
3. 不涉及 diffusion / flow matching / next-token / RLHF / DPO / 蒸馏 / 一致性模型等——纯 GAN 潜空间优化，2021 早期路线。

Infra（训练 / 推理工程）

• 算力/并行/吞吐：论文未报告具体 GPU 数量、GPU·时、并行策略、混合精度或吞吐。仅说 CMA 优化”运行与 Adam 等量时间”，且单图优化需”several minutes”（数分钟）量级。
• 推理形态：交互式编辑 = 每次编辑对单图做一次潜变量优化（CMA→Adam），分钟级延迟，不是实时。
• 掩码处理：把用户掩码 m 下采样到 w 对应的 feature map 分辨率，用 Hadamard 积置零掩码外分量；StyleGAN 在每层对应分辨率施加 split。
• 部署/服务化、量化、缓存等工程细节未披露（学术原型）。正文称”code and data will be available upon publication”；arXiv 正文未印 URL，但作者后续已开源官方实现：GitHub alexandonian/paint-by-word（PyTorch，提供 StyleganPainter / StyleganMaskedPainter，pretrained=birds/bedroom，optim_method='cma + adam'）+ 项目主页 paintbyword.csail.mit.edu。

评测 benchmark（把效果讲清楚）

本文以**人评（Amazon Mechanical Turk）**为主，无 FID/CLIPScore/GenEval 等自动指标。

实验一：全图生成（CUB 鸟，256px StyleGAN2 + CLIP ViT-B/32，500 条描述）

• 与 DALL-E 1 对比（DALL-E 评测数据由 OpenAI 的 Aditya Ramesh 提供）：本文 CMA 方法被判定为更贴合文本描述 65.4%、更真实 89%（即多数情况下优于 DALL-E）。
• 与自身消融 Adam-only 对比：CMA 更准确 66.2%、更真实 75.2%。
• 作者明确强调：这不是说本方法整体强于 DALL-E——本文生成器只在鸟上训练，画不了别的题材；窄域专精才在鸟上占优。结论是”在窄域内可不显式训练文本条件生成器，仍达到 SOTA 级语义一致”。

实验二：卧室局部编辑大规模人评（LSUN bedrooms StyleGAN2）

• 规模：300 张生成卧室图，每张手工画出”床”的掩码；每张做 10 次 paint-by-word（共 3000 次编辑），文本取自 50 条覆盖颜色/纹理/风格/状态/形状的描述。每对（编辑图 vs 原图，盲评）由 2 人评判”哪张更匹配文本”和”哪张更真实”。

• 按语义类别的”双人一致”结果（Table 1，单位 %）：

  类别	准确(2/2)	不准确(0/2)	真实(2/2)	不真实(0/2)
  color 颜色	72.8	3.9	13.1	48.8
  texture 纹理	46.5	13.2	18.2	34.1
  state 状态	40.6	20.0	21.7	30.0
  style 风格	37.2	20.4	26.1	27.8
  shape 形状	31.7	22.8	25.4	27.2

• 关键结论：颜色/纹理类编辑最有效（颜色准确率 72.8%），形状类最弱（GAN 难改物体形状）；逐词看（Fig.8），“orange（橙色）“最准，“Scandinavian（北欧风）“最难。一个有趣的张力：语义一致最强的类别恰恰真实感最差——颜色类”不真实(0/2)“高达 48.8%，因为改出来的物体（如奶油色房间里一张金色床、酒店房里一张”丑”床）在语境中显得突兀/有伪影（如模糊色块），即便无明显伪影也被判不真实。

实验三：广域编辑定性展示（BigGAN，Places/ImageNet）

• 展示能力（无定量指标，定性 Fig.9）：改建筑外观风格、在场景中新增原本不存在的物体（“camping tent”、“bouquet of flowers”）、改狗的情绪（happy↔sad dog）、域外合成尝试（ImageNet 无蓝色消防车，强行让其变蓝——能让车身局部变蓝，但整车变蓝这个域外任务仍难、会引入扭曲）。

未报告：FID、CLIPScore、GenEval、T2I-CompBench、DPG-Bench、HPSv2、ImageReward、PickScore、编辑专用 benchmark（MagicBrush/GEdit）等自动指标本文均未使用（2021 早期，这些 benchmark 多数尚未出现），评测全靠人评胜率与类别准确/真实率。

创新点与影响

核心贡献

1. 提出 zero-shot semantic image painting / paint-by-word 任务：自由文本 + 任意掩码的局部语义编辑，词表训练时未知，介于”按号上色”和”整图文生图”之间。
2. 空间分裂生成器（spatially-split generator）：用极简方式（拆 w₀/w₁、在 StyleGAN 各层做空间 split、BigGAN 取首卷积块 feature map 置零）实现掩码内外解耦，无需重训大模型即可做局部编辑。
3. CMA-ES 抗对抗样本：揭示”用梯度直接优化 CLIP 分数会得到对抗样本”，并以非梯度进化策略（优化分布而非单点）换回真实感——这是 CLIP-引导生成里很有价值的工程洞见。
4. 系统化的人评协议与类别级分析（颜色易、形状难；语义强则真实感降的张力）。

影响

• 属于 2021 年”CLIP 引导 GAN 潜空间优化”代表性学术工作之一（与 StyleCLIP 同期、社区 The Big Sleep 等并行），把”文本当画笔做局部编辑”这一交互范式正式化。
• 其”文本 + 掩码 → 局部生成/改写”的问题设定，被随后的扩散时代工作大规模继承并超越：Blended Diffusion、GLIDE inpainting、Stable Diffusion inpainting、以及后来的指令编辑（InstructPix2Pix）等都在做”文本驱动的局部图像编辑”，但用扩散模型替代了 GAN+CMA 的脆弱组合。
• 完整作者为 Alex Andonian、Sabrina Osmany（Harvard GSD）、Audrey Cui、YeonHwan Park、Ali Jahanian、Antonio Torralba、David Bau 共 7 人；其中 David Bau、Antonio Torralba、Ali Jahanian、Alex Andonian 属 GAN 可解释性/编辑（GAN Dissection、GANSpace 谱系）研究线核心，本文延续其”利用预训练生成器内部结构做语义操控”的脉络。

已知局限（作者自陈 + 实验显示）

• 窄域生成器画不了域外题材（鸟模型只会画鸟）；广域 BigGAN 做域外编辑（蓝色消防车整车）会扭曲。
• 形状类编辑弱，语义强的编辑常牺牲真实感（颜色类近半被判不真实）。
• 单图优化分钟级、非实时；依赖 CMA-ES 抗对抗，仍非完美。
• 不解决 GAN inversion，对真实用户图编辑需另配反演方法（作者视为正交问题）。
• 依赖现成预训练权重（CLIP/StyleGAN2/BigGAN），方法本身不产出新模型，能力上限被 backbone 的生成域与 CLIP 的语义覆盖锁死。

原始链接

• arxiv_abs: https://arxiv.org/abs/2103.10951
• arxiv_pdf: https://arxiv.org/pdf/2103.10951
• github: https://github.com/alexandonian/paint-by-word
• project_page: http://paintbyword.csail.mit.edu/

一手源存档（sources/）

• arxiv-2103.10951.pdf （arXiv 原文 PDF，不入 git）
• github-readme.md
• project-page.md