LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

一句话定位

Balestriero 与 LeCun 给 JEPA 补上第一套“可证明”的理论闸门：先证明各向同性高斯（isotropic Gaussian）是让下游任意任务风险最小的最优 embedding 分布，再用一个新目标 SIGReg（Sketched Isotropic Gaussian Regularization） 把 embedding 逼到这个分布——由此得到 LeJEPA，一个只有 1 个超参、线性复杂度、约 50 行核心代码、彻底删掉 stop-gradient / teacher-student / EMA 调度器等全部启发式的 JEPA，ImageNet-1k 冻结线性探针 ViT-H/14 达 79%。

背景与定位

JEPA（Joint-Embedding Predictive Architecture）是 LeCun 世界模型蓝图里学“可操纵表征”的核心范式：预测同一样本不同视图 embedding 之间的一致性，同时防止表征坍缩（complete / dimensional collapse）。问题在于——防坍缩这一环长期是“打地鼠”：现有 SOTA 配方（jepa-predictive I-JEPA、DINO/DINOv2/DINOv3、SimCLR、BYOL、VICReg、MoCo）靠一堆欠约束的启发式硬凑：stop-gradient、非对称视图、teacher-student + 精调 EMA 调度、白化/归一化层，外加脆弱的超参平衡。这些机制普遍有四宗罪：欠定（criteria 满足了 embedding 仍可能退化）、随 batch/维度平方级时空复杂度、对数据分布/超参/架构敏感、缺乏理论保证。结果是社区把精力转向堆数据、堆模型、堆数据清洗，而 JEPA 的理论根基基本没人碰。

本文的做法不是“事后解释已有方法”（此前 MI 界那套路），而是从第一性原理反推：先问“JEPA 必须满足哪些必要条件才最优”，把这些条件当公理，再据此设计一个精简 JEPA。两条公理：(i) 解预测任务；(ii) 强制 embedding 服从各向同性高斯。范式名字叫 Latent-Euclidean JEPA（LeJEPA）。论文在 relation-to-prior-work 里指出：SIGReg 的切片+分布匹配思路呼应 Sliced Score Matching、sliced Wasserstein；当 Epps-Pulley 积分取精确值时每个切片 loss 退化为 kernel MMD（但平方复杂度）；把统计检验换成一阶二阶矩匹配则在极限下复现 VICReg（论文明确反对这种退化设置，因为会留下坍缩捷径）。

模型架构

LeJEPA 不规定 backbone——f_θ: R^D → R^K 可以是任意深度网络，论文用 timm/torchvision 里的 ResNet、ViT、ConvNeXt-V2、MaxViT、Swin 等 8 大族共约 60 个架构直接开箱跑。核心不是新网络，而是新损失 = 预测项 + SIGReg 项：

• 预测项（invariance / prediction loss）：采用 DINO 式多视图，生成 V_g 个 global view、V_l 个 local view（共 V=V_g+V_l）。让所有视图去预测 global 视图 embedding 的中心 μ_n = (1/V_g)Σ z_{n,v}，损失是 (1/V)Σ_v ||μ_n − z_{n,v}||²（简单 ℓ2）。没有 predictor 网络、没有 teacher-student（对无信息非对称的图像 JEPA，二者被证明只是防坍缩用，可删）。ResNet 等无 local view 时令 a_emb=g_emb。
• SIGReg 项（防坍缩 / 分布匹配）：把“embedding 分布 P_θ = 各向同性高斯 Q”写成假设检验 H0: P_θ=Q。多维检验平方复杂度不可用，于是用球面 Cramér-Wold 定理降成一维：往 M 个单位随机方向 a∈S^{K-1} 投影，对每个一维投影分布做统计检验，再平均（用 average 而非 max 以避免稀疏梯度）。检验统计量选 Epps-Pulley 特征函数检验——在加权 ℓ2 下比经验特征函数 ECF φ̂_X(t)=(1/n)Σ e^{itX_j} 与目标 N(0,1) 的 CF；ECF 是复指数均值，天然可微、可 all_reduce 分布式聚合。相比之下矩检验（Jarque-Bera / 扩展 JB）梯度随阶数 O(k) 爆炸、有限阶不可辨识；CDF 检验（Cramér-von Mises / Anderson-Darling / Watson / Shapiro-Wilk / KS）要排序、破坏并行、不可微。
• 关键配置：SIGReg 默认 1024 slices、17 个积分节点、积分域 [−5,5]、高斯窗 w(t)=e^{−t²/σ²}（σ=1）、梯形（trapezoidal）求积（利用被积函数对称性免费翻倍节点数）；方向 A 每个 step 重采样（compounding 覆盖，|A|=16 即可胜过固定几千方向）。理论保证：Epps-Pulley 梯度/曲率有界 |∂EP/∂z_i| ≤ 4σ²/N、|∂²EP/∂z_i²| ≤ C√π σ³/(2N)；minibatch 引入 O(1/N) 偏置（batch 小到 16 也可接受）；复杂度 O(N) 线性于 minibatch。整套核心实现约 50 行 PyTorch，单一超参 λ（预测项与 SIGReg 的权衡）。

数据

LeJEPA 是自监督预训练框架，不引入专有大数据集，卖点恰是“在任意规模/领域直接就地预训练”。论文覆盖 10+ 数据集、60+ 架构：

• 大规模预训练：ImageNet-1k（ViT-Large 0.3B、ConvNeXtV2-Huge 0.6B、ViT-gigantic 1.8B）、ImageNet-100、ImageNet-10。
• In-domain 小数据/跨域：Galaxy10（星系形态分类，11,000 训练样本、10 类，与自然图像统计差异大）、flowers102（仅 1020 训练样本）、DTD、FGVC-Aircraft、Stanford Cars、CIFAR-10/100、Food101、Oxford Pets。
• 数据增强（GitHub 披露）：DINO 式 multi-crop，每图 2 个 global view（224×224，crop scale 0.3–1.0）+ 6 个 local view（98×98，scale 0.05–0.3）（论文正文 experiment details 写 local 96×96，二者略有出入）；两类视图统一施加 RandomHorizontalFlip(0.5)、ColorJitter(0.8, 亮度/对比 0.4、饱和 0.2、色相 0.1)、RandomGrayscale(0.2)、GaussianBlur(0.5)、RandomSolarize(0.2, thr=128)、归一化。global 与 local 唯一区别在 crop 尺度。无 action 标注、无 sim/real 混配——纯图像自监督。

训练方法

• 目标函数：L_LeJEPA = (λ/V)Σ_v SIGReg({z_{n,v}}) + (1/B)Σ_n L_pred，λ 为唯一权衡超参，推荐默认 λ=0.05（在 λ∈[0.001,0.5] 大范围内稳定，峰值随视图数略调 λ）。
• 无多阶段、无 RL、无蒸馏、无 scheduler（除 lr 的标准 warmup+cosine）：纯 imitation/predictive + 分布正则一步到位。删掉 predictor 与 teacher-student 不坍缩；对 ViT 可选叠加 SWA（Stochastic Weight Averaging，在产出 μ 的 encoder 上）拿小幅提升；不需要 register token（论文指出 DINOv2/v3 需要 register 是因为训练目标条件差，LeJEPA 无此不稳定性）。
• 推荐起手超参：λ=0.05、V_g=2、V_l≥6（论文默认 V=8：2 global+6 local）、batch≥128、1024 slices、17 积分点、积分域 [−5,5]。
• 优化器/精度（GitHub）：AdamW；lr 5e-4（起点，正文亦用 5e-3/5e-4）；weight decay ViT 5e-2 / ResNet 5e-4（wd 不加 scheduler）；bfloat16 混合精度；lr 线性 warmup + cosine annealing，末端 lr = 初始/1000。
• 训练时长：ImageNet-1k ViT-Large/14 跑 100 epochs（比 I-JEPA 的 300 epochs 少 3×）；ImageNet-100 ResNet-50 400 epochs；Galaxy10 各 backbone 400 epochs。
• 线性探针评估协议（GitHub）：取最后两层 CLS token 拼接（无 CLS 的 ViT 用 patch token 平均）→ LayerNorm/BatchNorm → AdamW、wd 1e-6、同 warmup+cosine。

Infra（训练 / 推理工程）

• 分布式：SIGReg 用 DDP，ECF 通过 all_reduce(op="AVG") 跨卡聚合，方向随机数用 global_step 做 seed 跨卡同步；单卡可省 global_step。整体 O(N) 时间与显存，batch/维度均线性，无平方级瓶颈。
• SIGReg 损失前反向耗时（Tesla V100-SXM2-16GB，10 次平均，Table 6）：N=512/M=512/16 积分点 → 0.465 ms；N=2048/M=512/16 → 1.41 ms；N=8192/M=512/16 → 6.19 ms；N=8192/M=8192/16 → 8.69 ms；N=32768/M=512/16 → 26.4 ms；N=512/M=8192/16 → 0.67 ms。即正则项开销相对 backbone 前反向可忽略。
• 训练总卡数 / GPU-hours / 并行策略细节：未披露（论文只给 SIGReg 微基准，未报整机预训练资源）。推理 FPS / 控制频率 / 边端硬件：不适用（表征学习框架，非在线控制/生成模型）。
• 代码：pip install lejepa，提供基于 stable_pretraining（PyTorch Lightning 封装）的预训练骨架；核心 SIGReg loss 可嵌入任意 codebase（lejepa.univariate.EppsPulley + lejepa.multivariate.SlicingUnivariateTest）。要求 Python≥3.8、PyTorch≥1.10。

评测 benchmark

全部来自论文一手表格（frozen backbone 线性探针，top-1 %）：

• ImageNet-1k 主结果：ViT-H/14 达 79%（摘要头条）；section 6.4 online linear probe——ViT-Large(0.3B) 77.1%、ConvNeXtV2-Huge(0.6B) 78.5%。
• 少样本迁移（Table 2，8 数据集平均）：LeJEPA ViT-L(304M, IN-1K, 仅 100 ep) all-shot 平均 79.48，胜过 I-JEPA ViT-H(632M, 300 ep) 78.50（参数更小、训练更短）；1-shot：LeJEPA ConvNeXtV2-H 平均 31.58 > I-JEPA ViT-H 30.20；10-shot：LeJEPA ViT-L 60.95 ≈ I-JEPA 60.51。细粒度任务（DTD、flowers102、food101）LeJEPA 领先。
• In-domain 胜过 frontier 迁移（Table 5 / Fig.12）：Galaxy10 上小 backbone 就地预训练——resnet34(21M) 77.29、convnextv2_nano(14M) 76.05，全面碾压在自然图迁移来的 IJEPA-inet22k ViT-H/14(630M) 的 62.93；flowers102 仅 1020 样本，resnext26ts(8M) 达 82.19。论文据此主张“领域内 SSL 打败通用迁移学习，即便对手是海量 frontier 模型”。
• 架构鲁棒性（Fig.9）：ImageNet-10 上 timm 里约 50 个 <20M 参数模型、8 大族开箱即用，全部收敛到 91.5%–95% top-1。
• 超参鲁棒性（Table 1，ViT-L/14 IN-1k 100ep）：积分域/积分点/slice 数/batch(128–1024)/register token 数/projector 维度全范围内无灾难性坍缩，波动多在 ~72–76% 区间。
• 训练 loss 即模型选择信号（Fig.10/11）：LeJEPA 训练 loss 与下游 acc 的 Spearman 相关 ρ_s≈85%，用 train_loss/λ^α（α≈0.4）标度后升到 ≈99%——首个可无标签交叉验证的 SSL 训练损失。
• 涌现语义：ViT-Large(100ep) 最后层 PCA 自发出现前景/背景分离；对 [CLS] 自注意力阈值化可做无监督视频目标分割且时序一致（Fig.13/14）。

创新点与影响

• 理论贡献：首次证明各向同性高斯是让下游“最坏情况风险”最小的唯一最优 embedding 分布，对线性探针（Lemma 1/2：各向异性同时放大 bias 与 variance）和非线性探针（Theorem 1/7/8：radius-kNN 与 kernel/NW 回归的积分平方偏差唯一被各向同性高斯最小化）都给了严格证明——把 JEPA 设计从“启发式探索”变成“朝确定目标优化”。
• 方法贡献：SIGReg 用“假设检验 as judge + 球面 Cramér-Wold 切片 + Epps-Pulley 特征函数检验”，同时拿到可微、O(N) 线性、梯度/曲率有界、DDP 友好、无额外超参五项；并证明凭 embedding 的 Sobolev 光滑性 + SGD 每步重采样方向，克服维度诅咒，|A|=O(K) 甚至几百方向足够。
• 工程/范式影响：单超参、~50 行、删光 stop-gradient/teacher-student/scheduler/register token，让 JEPA 首次“开箱跨架构跨域跨规模”（10+ 数据集、60+ 架构、直到 1.8B ViT-g 训练曲线仍平滑）；并复活了“小数据就地预训练”这一被认为不实用的路线。
• 论文自陈局限：Epps-Pulley 的 minibatch 梯度有 O(1/N) 偏置（给出 U-statistic 去偏 / sample-splitting 两条未展开的路子）；teacher-student 对 ViT 仍能带来小幅增益（说明启发式并非毫无价值，只是非必需）；理论建立在探针（线性/kNN/kernel）之上，对更复杂下游器的最优性未覆盖；实验以视觉为主，未在正文验证语言/多模态/机器人 action-conditioned JEPA。

原始链接

• arXiv abstract：https://arxiv.org/abs/2511.08544
• arXiv PDF：https://arxiv.org/pdf/2511.08544
• GitHub（含 MINIMAL.md、pip 包、评估脚本）：https://github.com/rbalestr-lab/lejepa

一手源存档（sources/）

• lejepa—github-readme — GitHub README 快照（超参/增强/评估协议/few-shot 表，fetched 2026-07-16）
• arXiv 全文（HTML v1）已通读，原文 PDF 不入 git，见上方 arXiv 链接