Decomposable Flow Matching

1.1 排重

先读取 ml-report-index.md。近 14 天已经深度覆盖：MeanFlow（一步 Flow Matching）、MolJO/I2Mole（分子生成与优化）、LongLive 之前的长视频生成、以及理论/系统主题。故本次将“一步流”“分子生成”“记忆/隐私扩散”从核心主题排除；候选仍可包含视频、3D、离散流与对齐，但抽中的主问题必须不同。DFM 聚焦多尺度、单模型、渐进式流匹配，与 MeanFlow 的“一步速度恒等式”不同，也不与分子方向重复。

1.2 固定候选池（20 篇）

顺序在抽签前固定。1–15 优先为正式接收论文，16–20 为资料较新的 ICLR 2026 公开稿/高质量 arXiv，因此若抽中后资料不足才允许重抽。

1. SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer — ICLR 2026 Oral
2. GLASS Flows: Efficient Inference for Reward Alignment of Flow and Diffusion Models — ICLR 2026 Oral
3. Half-order Fine-Tuning for Diffusion Model — ICLR 2026 Oral
4. NoisePrints: Distortion-Free Watermarks for Authorship in Private Diffusion Models — ICLR 2026
5. Discrete Adjoint Matching — ICLR 2026
6. Disentangled Hierarchical VAE for 3D Human-Human Interaction Generation — ICLR 2026
7. NatADiff: Adversarial Boundary Guidance for Natural Adversarial Diffusion — ICLR 2026
8. ImagenWorld: Stress-Testing Image Generation Models — ICLR 2026 / arXiv
9. Adjoint Schrödinger Bridge Sampler — NeurIPS 2025 Oral
10. Edit Flows: Variable Length Discrete Flow Matching with Sequence-Level Edit Operations — NeurIPS 2025
11. Improving Progressive Generation with Decomposable Flow Matching — NeurIPS 2025
12. Self-Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion — NeurIPS 2025 Spotlight
13. Efficient Zero-shot Inpainting with Decoupled Diffusion Guidance — ICLR 2026
14. Subject-driven Video Generation Emerges from Experience Replays — ICLR 2026 公开稿
15. GenICF: Benchmarking Generative Methods — ICLR 2026 公开稿
16. E-CommerceVideo: A Benchmark and Approach for E-Commerce Video Generation — ICLR 2026 公开稿
17. Enhancing Physical Plausibility in Video Generation by Reasoning the Implausibility — arXiv
18. Generative Image Compression by Estimating Gradients of the Rate-variable Feature Distribution — arXiv / ICLR 2026 公开稿
19. MV-Diffus3R: Refining Multi-View Diffusions for Geometric Coherence 3D Reconstruction — ICLR 2026 公开稿
20. OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows — arXiv / ICLR 2026 公开稿

1.3 实际抽签

$ shuf -i 1-20 -n 1
11

第 11 篇有正式 NeurIPS proceedings、35 页完整稿、项目页、附录、代码与足够的主结果/消融，故重抽次数为 0。选择不依据热度、引用量或作者机构。

3.1 故事线

第一步，作者选择 Laplacian pyramid，把一个 latent 拆成低频近似与高频残差。第二步，为每个分量建立独立的 Flow Matching 时间 t^s：正在生成的 stage 取随机噪声水平，已经完成的 stage 偏向低噪声，未来 stage 固定为全噪声并遮掉 loss。第三步，单个 DiT 共享主干，只为不同尺度复制 patchification、输出投影与时间嵌入。第四步，推理仍用普通 Euler solver，只用阈值 τ 决定何时启动下一 stage。最后，作者用 ImageNet-1K、Kinetics-700 以及内部数据上的 FLUX 微调验证从头训练和大模型适配。

这条故事线建立在三个假设上：

1. 谱分解是有语义的。 低频 latent 主要承载结构，高频残差主要承载细节；若 autoencoder 把频率彻底混合，阶段划分就失去解释。
2. 共享骨干有足够容量。 同一 DiT 能同时拟合多尺度速度，不需要真正的专家模型；stage-specific 端口足以解决输入/输出维度差异。
3. 训练联合分布近似推理轨迹。 通过 stage 概率和偏移 logit-normal，训练时看到的跨尺度噪声组合能覆盖推理调度。

3.2 关键权衡

4.1 标准 Flow Matching

对数据样本 X1 ~ p_d 与噪声 X0 ~ N(0,I)，论文采用线性概率路径：

[ X_t=tX_1+(1-t)X_0,v_t==X_1-X_0. ]

生成器 G 通过速度回归训练：

[ L_{FM}=E_{t,X_1,X_0}|G(X_t,t)-v_t|_2^2. ]

这是核心论文 Eq. (1)（PDF p.4；HTML 行 103–107）。推理只需积分 ODE，不需要训练时模拟完整轨迹。

4.2 多尺度表示

给定 S 个分辨率，Laplacian 分量为：

[ X^1=(X,1), X^s=(X,s)-((X,s-1),s), s>1. ]

累加到第 s 层可得到中间预览 \bar X^s=\sum_{k=1}^{s}X^k。这正是“生成可以被中途观看”的数学原因（Eq. (2)，PDF p.4；HTML 行 110–116）。

4.3 Decomposable Flow Matching

DFM 给每个尺度独立时间：

[ P_{t^1,,tS}={X^s_{ts}}_{s=1}^S, X^s_{ts}=t^sXs_1+(1-t^s)Xs_0. ]

共享网络同时预测各尺度速度，mask M^s 排除尚未激活 stage：

[ L_{DFM}=E{s=1}^{S}Ms |G(P{t^1,,tS},t^1,,tS)-v^s|_2^2. ]

这是 Eq. (3)–(4)（PDF p.4；HTML 行 119–129）。关键不是损失函数换了，而是联合时间分布 p_t 变成了课程：若当前 stage 为 k，未来尺度为全噪声且不计损失；过去尺度从向低噪声偏移的 logit-normal 采样；当前尺度从常规 logit-normal 采样。

4.4 采样伪代码

输入：噪声金字塔 {X0^s}，共享 DiT G，阈值 τ，总步数 40
训练：
  1  X -> Laplacian pyramid {X1^s}
  2  抽主 stage k ~ Categorical(p_stage)
  3  对 s<k：t^s ~ LogitNormal(location=1.5, scale=1)
  4  对 s=k：t^s ~ LogitNormal(location=0, scale=1)
  5  对 s>k：t^s=0，M^s=0；其余 M^s=1
  6  用共享 G 预测所有激活尺度速度，最小化 Eq.(4)

推理：
  1  先积分最粗 stage；达到 τ 后激活下一 stage
  2  已激活 stage 继续并行积分，各自沿线性时间表前进
  3  默认 coarse/fine 分配 30/10 Euler steps
  4  求和 {X^s}，经 autoencoder decoder 得到图像或视频

4.5 架构接口

对于 256→512 两阶段，作者令低分辨率 patch 为 1×1、高分辨率 patch 为 2×2，使两者产生相同 token 数；各尺度 patch embedding 相加后进入同一 Transformer 主干，再由各自投影头输出速度。每尺度时间 MLP 的输出也相加为统一 conditioning（Section 3.4，PDF p.5；HTML 行 130–135）。这比“完全不改 DiT”更准确的说法是：不改主干块，但改输入/输出端口与调制入口。

6.1 ImageNet-1K 512/1024

图像实验同时报告 FID、FDD 与 IS。FID 使用 Inception 特征；FDD 使用 DINOv2 特征，作者认为更贴近语义与结构；IS 兼顾类别置信与多样性。512px 用 50k 样本，1024px 用 10k 样本，因此两个 FID/FDD 的采样误差不可直接假设相同。ImageNet 为 research-only、non-commercial license（Appendix A.3，PDF p.15）。

6.2 Kinetics-700 512

视频报告 frame-FID、FDD 与 FVD。frame-FID/FDD 把帧当图像衡量视觉质量，FVD 才编码时序特征；三者方向均为越低越好。论文用 10k 样本、200k 训练步、CogVideo AE，并对 decomposed stage 做单位方差标准化。Kinetics-700 按 CC BY 4.0 使用（Appendix A.3，PDF p.15）。

6.3 内部 FLUX 微调集

FLUX-dev 先用 24k 步适配 scale-equivariant AE，再从同一 checkpoint 分叉，FLUX-FT 与 FLUX-DFM 各训练 32k 步、batch 192、1024px、多长宽比；评测 10k 个内部 test prompts（Table 3 与 Appendix E.1，PDF p.9、18）。由于训练集、验证 prompts 与 AE checkpoint 都未公开，这组实验只能证明作者内部域上的相对收敛，不能作为公开基准排名。

6.4 不能硬凑“5 基准×6 方法”

论文给出的等算力完整矩阵只有 3 个数据集/分辨率设置 × 4 种方法 × 3 个 CFG；FLUX 又只有 3 种模型。没有第五公开基准，也没有六个严格可比方法。若补入别的论文数字，会破坏 backbone、训练预算和评测协议一致性。因此本报告完整转录 Table 2，而不伪造 5×6 矩阵。

7.1 Table 2：等训练 compute 的 3 组基准 × 4 方法 × 3 CFG

所有数值来自核心论文 Table 2（PDF p.8；arXiv HTML 行 220–240）。粗体表示同一 CFG、同一列最优；↓ 越低越好，↑ 越高越好。

7.2 相对同 CFG 最强非 DFM 基线

* 论文摘要写相对最佳渐进基线改善 26.4%，Table 2 用 116.2→85.8 复算为 26.16%；若按该列真正最优非 DFM 值 114.0，则是 24.74%。这不是结论反转，但需要说明比较口径。

7.3 Table 3：FLUX 微调

来源：核心论文 Table 3（PDF p.9；HTML 行 244–253）。

相对同训练 compute 的 FLUX-FT，DFM 的 FID 下降 3.73 / 29.70%，FDD 下降 37.4 / 24.35%，CLIPSIM 增加 0.0120 / 3.68%。正文行 253 把 FID 改善写为 28.7%，但表格复算为 29.70%；引言行 73 又写 29.7%，因此 28.7% 应视为内部笔误。

8.1 训练阶段概率：结构优先的收益不是线性的保证

Table 1(a)（PDF p.6）显示 DiT-B 上 p0 从 .7→.8→.9→.95 时，FID 为 36.02→32.09→29.56→27.50，FDD 为 676→622→571→540，IS 为 32.2→36.1→41.0→43.7。.7→.95 的 FID 相对下降 23.65%、FDD 下降 20.12%。但主实验仍选 .9，作者理由是“大模型可能有余力分给非结构细节，并更需要贴合推理轨迹”（Sec. 4.2，PDF p.6）。这是一项推测性超参迁移，不是由 XL sweep 证明的结论。

8.2 时间解耦是离散相变点

第二阶段 previous-stage logit-normal location 从 0、.5、1、1.5、2 变化时，FID 只在 28.89–29.96 内波动；但把所有 stage 时间直接 tied 后，FID 从默认 29.56 跳到 55.49（+87.72%），FDD 从 571 跳到 885（+54.99%），IS 从 41.0 降到 21.4（-47.80%）（Table 1(b)，PDF p.6）。这比“最佳 location 是多少”更重要：多时间轴本身是机制，不是装饰。

8.3 Mask、标准化与损失权重耦合

移除 mask，FID 29.56→29.90、FDD 571→584，轻微变差；移除 stage standardization 反而 FID 29.56→27.13、FDD 571→505（分别改善 8.22%、11.56%）。作者解释为第二 stage 幅值变小，相当于把更多容量给结构阶段。因此标准化不是纯数值稳定器，而在隐式重加权损失。最终 ImageNet 禁用、Kinetics 启用，说明配置依赖 autoencoder（Table 1(c)、Appendix A.5，PDF p.6、15）。

8.4 参数专门化：最好结果被公平性约束排除

None/Mod/Proj/Cond/Attn/MLP/Full 七种专门化中，Full 的 FID/FDD/IS 为 26.63/526/45.5，相对主基线 29.56/571/41.0 改善 9.91% / 7.88% / 10.98%；但作者为保持参数量接近基线，主实验不使用 Full（Table 1(d)，PDF p.6）。这很好地区分了两种贡献：主论文证明的是“时间与表示分解”有效，不是“给每尺度更多参数”有效。

8.5 计算分配与分解尺度

把省下的 compute 用于增大 batch 得到 FID 31.95，而缩小 patch 得到 29.56；作者因此选择等 token 数的 patch 策略。1024px 下，512→1024、256→512→1024、256→1024 的 FID 分别 58.03、50.61、41.06；最佳不是 stage 越多越好，而是 coarse 起点足够低、stage 数不过多。512→1024 相比 256→1024 差 41.32%，提示“第一阶段必须真正只承载结构”（Table 1(e,f)，PDF p.6）。

8.6 推理阈值与步数

主实验 512px 选 τ=.7、1024px 选 .95；固定 40 步时用 30/10。Figure 4/8 只给曲线，论文未发布每个阈值/步数组合的完整数表，因此不能安全抄出精确小数。可推出的是：高 CFG 时 τ 较不敏感；更多 coarse steps 改善结构，更多 fine steps 对植被、草地、毛发等复杂纹理有递减但可见的修复（Sec. 4.3、Appendix C/G，PDF p.7、17、19）。不能推出“30/10 对所有样本最优”。

8.7 统计显著性

论文未报告主表或消融的多随机种子均值、标准差、置信区间、显著性检验，也没有 FID/FDD 的 bootstrap。每个设置虽然用 10k/50k 样本评测，但样本数不能替代训练 seed 方差。因此可相信大幅差异（如 FDD 132.5→85.8）具有工程意义，却不能判断 Kinetics FID 6.98→6.85 或 FDD 235.0→236.5 是否超出随机波动。

9.1 Flow Matching（Lipman et al., ICLR 2023）

解决什么： 用条件概率路径的向量场回归，避免训练时积分 CNF，形成可扩展、simulation-free 的连续生成目标。遗留缺口： 一个全分辨率时间 t 不显式区分结构与纹理。DFM 如何回应： 保留相同线性路径与 MSE，把 t 扩展成 {t^s} 并改变其联合训练分布。设计传递： 标准 ODE solver、速度预测与 classifier-free guidance 都原样保留，说明 DFM 是 FM 的结构化封装而非替代。

9.2 Cascaded Diffusion Models（Ho et al., JMLR 2022）

解决什么： 用低分辨率生成器加一个或多个 super-resolution diffusion，把高维任务拆成阶段。遗留缺口： 每 stage 一套模型，训练/维护成本大，后级面对前级生成误差产生 exposure gap。DFM 如何回应： 单主干联合训练所有尺度，未来 stage 以噪声遮蔽、过去 stage 以低噪声条件进入。设计传递： “低分辨率先行”的课程被保留；DFM 的 p0=.9 与 30/10 步分配，本质上继承了 cascade 对第一阶段的预算倾斜。

9.3 f-DM（Gu et al., ICLR 2023）

解决什么： 把 downsampling 等 progressive signal transformations 写进扩散过程，使分辨率随时间改变。遗留缺口： 生成过程和 sampler 与特定变换耦合，stage transition 需要专门处理。DFM 如何回应： 每个分解分量有自己的标准线性流，transition 从“改变状态空间”变成“改变哪些时间轴开始推进”。设计传递： f-DM 证明显式渐进信号有益；DFM 则把信号变换移到表示层，把动力学还给普通 FM。

9.4 Matryoshka Diffusion Models（Gu et al., ICLR 2024）

解决什么： 用 NestedUNet 在单模型内联合去噪多个分辨率，并支持从低到高的 progressive training。遗留缺口： 嵌套网络和 pixel-space 多尺度设计较重，分解与架构绑定。DFM 如何回应： 共享普通 DiT 主干，仅复制端口与时间嵌入；在 latent space 中工作。设计传递： “多尺度输出共同训练、低尺度特征服务高尺度”直接延续，但 DFM 把嵌套参数共享换成相同 token 数与 embedding 求和。

9.5 Pyramidal Flow Matching（Jin et al., ICLR 2025）

解决什么： 在 latent pyramid 上按空间/时间金字塔生成视频，仅最终阶段运行全分辨率，降低长视频成本。遗留缺口： stage 间需要升采样、重新加噪与连续性设计，流程仍是特定 sampler。DFM 如何回应： 每个 Laplacian 分量独立流动，阈值只负责启动，不负责把一个分布人工转换成另一个。设计传递： coarse-to-fine latent flow、等算力 stage 对照与视频评测直接传入 DFM；Table 2 把 Pyramidal Flow 作为最强近邻基线。

9.6 非线性技术演进树

                         ┌─ Cascaded Diffusion ── 多模型、超分条件
Diffusion / Score ───────┼─ f-DM / Relay ─────── 改造动力学与 stage transition
                         └─ Matryoshka ───────── 单模型嵌套多分辨率

Flow Matching ───────────┬─ Pyramidal Flow ───── latent pyramid + 升采样/重新加噪
                         └─ DFM ──────────────── 多时间轴 + 任意分解 + 普通 solver
                                                │
Scale-equivariant AE ────────────────────────────┘ 让 latent 频率层次可用

演进动力有三次转折：先从“全分辨率一次解决”转为 coarse-to-fine；再从“每阶段一个模型”转为共享模型；最后从“阶段改变生成过程”转为“阶段只改变表示与时间调度”。DFM 的新意主要在第三次转折。

9.7 跨论文对标

10.1 真正贡献

1. 把“渐进”与“扩散公式”解耦。 渐进性来自表示 {X^s} 与时间向量 {t^s}，不再要求改造单尺度噪声过程。
2. 给出联合训练分布。 stage index、current/previous/future 三类时间采样与 mask 共同模拟推理状态；tied ablation 证明它是性能核心。
3. 公平近邻对照。 Flow Matching、cascade、Pyramidal Flow 共用 DiT-XL 与等训练 compute；主表覆盖图像、视频、三种 CFG。
4. 把方法接到 FLUX 微调。 证明 DFM 不只适用于从头训练的小型原型，不过证据来自内部域。

10.2 可复用设计

• stage-specific ports + shared trunk 可迁移到 wavelet、DCT（先逆变回空间）或多尺度 learned tokenizer。
• vector timestep conditioning 适合任何可分块状态，如时空分块、语义层/纹理层、几何/材质层。
• loss mask 模拟未来未激活分量 是通用课程学习工具，能避免纯噪声分支污染共享表示。
• 固定总 NFE 的阶段预算 可变成按样本自适应 controller：结构复杂时多给 coarse，纹理复杂时多给 fine。

10.3 迁移潜力

对视频，可把空间 Laplacian 与时间金字塔做二维 stage；对 3D，可拆 occupancy/coarse geometry 与 texture/material；对音频，可拆低频包络与高频瞬态；对离散生成，可把词法骨架和表面形式分层。不过“每层都能线性插值并共享同一主干”是前提，不能仅凭图像成功就外推。

11.1 论文自述限制

1. 额外超参数。 训练 stage 概率、previous-stage noise shift、推理阈值与步数分配共同控制低/高频平衡（Discussion，PDF p.9；HTML 行 255–259）。
2. 高频伪影。 植被、毛发、细结构与杂乱场景可能扁平化；增加第二阶段步数可缓解但不消除（Appendix G，PDF p.19）。
3. 分解与规模未覆盖。 正式主结果集中在 Laplacian；DCT 直接域输入失败，wavelet/多尺度 AE 与更大规模仍留作未来工作（Discussion / Appendix F，PDF p.9、18–19）。

11.2 独立批判（每点均为“证据→推论”）

1. [统计] 因为 Table 1–3 没有 seed 数、标准差、置信区间或 bootstrap，所以 Kinetics FID 的 0.13 优势与 FDD 的 1.5 劣势都不能被解释为稳定差异；只能对 46.7 这类大幅 FDD 差异做工程性判断。
2. [复现] 因为官方仓库明确说是 SiT 上的重实现、架构不完全等同论文，而且 checkpoint 仍标“将发布”，所以“代码已开源”不等于论文主表已可复现；当前第三方只能复现概念，不一定复现 Table 2 数值。
3. [数据外推] 因为 FLUX 的 24k+32k 微调、10k test prompts 与 scale-equivariant AE 都使用内部数据，所以 12.56→8.83 的 FID 改善不能外推到公开 prompt 分布、审美分布或原始 FLUX-dev 质量；它只支持“更快贴近内部目标域”。
4. [归因] 因为整条管线额外微调 autoencoder 10k 步，并且 Table 4 中换成 scale-equivariant AE 会让普通 FM 的 FID 从 54.50 降到 43.16，所以性能不是“只加多时间轴”产生；虽然 DFM 在原 AE 上也从 54.50 降到 34.00，说明机制独立有效，但 DFM 与 AE 正则的交互仍未彻底分离。
5. [超参选择] 因为 DiT-B 消融中 p0=.95 的 FID/FDD/IS 27.5/540/43.7 全面优于 .9 的 29.56/571/41.0，而主实验改选 .9 只基于“大模型可能需要更多细节容量”的推测，所以主结果配置不是消融直接支持的最优；需要 XL 上的等成本 sweep。
6. [视频证据] 因为 cfg=1.5 时 DFM 的 Kinetics FDD 236.5 反而差于 Cascaded 235.0，且 FVD 仅比 Pyramidal Flow 低 8.5 / 3.03%，所以“图像和视频都全面领先”应缩为“除 Kinetics FDD 外多数指标领先”；视频收益明显弱于图像。
7. [评价有效性] 因为公开基准只报告 FID/FDD/IS/FVD，没有人类结构偏好、局部纹理错误率、prompt compositionality 或安全性，所以论文把改进归因于“更好结构细节”主要依赖定性图与 DINO 距离；FDD 下降不能证明所有语义关系更正确。
8. [数值审计] 因为 Table 3 的 12.56→8.83 复算为 29.70%，正文却写 28.7%；摘要的 Pyramidal 116.2→85.8 复算 26.16% 而非 26.4%，所以至少两处百分比口径不严谨；幅度不改变主结论，却降低了精确复用的可信度。

理论

1. 分解等变性的充分条件。 固定 DiT、参数量与训练 FLOPs，对 Laplacian、Haar wavelet、DCT→逆变换、learned spectral tokenizer 做 head-to-head；分别测跨尺度互信息、速度场 Lipschitz 估计、FID/FDD。若低频/高频越解耦越好，应出现可预测相关性，而不只是经验排名。
2. 训练分布—推理轨迹覆盖。 比较手工 logit-normal、从真实 sampler trajectory 拟合的 joint p(t^1,…,t^S)、以及 adversarial worst-case timestep sampling；以同 500k 步下的 train/inference hidden-state MMD 与生成指标评估 exposure gap。

工程与应用

3. 等 GPU-hour 而非等迭代。 在相同 H100-hour、相同参数量、相同 NFE 下比较 FM、DFM、Cascaded、Pyramidal Flow；同时报告训练吞吐、峰值显存、通信量、采样延迟与能耗。只有这样才能验证“半数迭代”是否真是“半数成本”。
4. 公开 FLUX 适配。 选公开 LAION-Aesthetics 子集与固定 10k prompts，发布 AE、24k 起点、32k 两分支 checkpoint；比较 FLUX-FT/DFM/LoRA-DFM，并做盲人评、GenEval、DPG-Bench、FID/FDD。这样可分离内部数据与方法收益。
5. 纹理自适应预算。 用一个轻量 controller 根据 coarse preview 的边缘谱/语义复杂度动态分配剩余 NFE，与固定 30/10 在相同平均 40 NFE 下对比毛发、植被、文字、规则几何四类失败集；指标包括 LPIPS patch error、人评与 latency P95。

新兴方向

6. 空间×时间二维分解。 比较只做空间 DFM、只做时间 pyramid、二者笛卡尔积 stage 的视频模型；在 Kinetics、长视频一致性与物理可行性上按相同 token-FLOPs 对比，检验 stage 数增长是否造成优化稀释。
7. 3D 几何/材质解耦。 在同一 3D DiT 中把 coarse occupancy、surface detail、texture 设为独立流，和单流、模型 cascade、triplane pyramid 对比 Chamfer、normal consistency、texture FID 与可编辑性；特别检查共享主干是否把几何误差传播到材质。
8. 安全与来源标记。 将 DFM 的 stage 端口用于低频语义水印/高频不可见水印，和 NoisePrints、普通 latent watermark head-to-head；测试裁剪、压缩、再扩散后的检出率与质量损失，判断多尺度生成是否提供新的 provenance 控制点。