Transition Matching

0. 链接验证表

下表中的网址均在 2026-10-07 实际访问。OpenReview 页面触发浏览器验证，但论文 ID、PDF入口与作者主页的 NeurIPS 2025 标注相互一致；核心稿件当前只有 arXiv v1。

1. 候选池、排重与随机抽取

最近 14 天索引已覆盖 DFM、MeanFlow、AIM-CoT、PointMapPolicy 等主题；其中 DFM（2026-09-30） 与本周方向最接近，故本次避免再选“渐进多尺度流匹配”，转向离散概率转移与连续自回归。ACL Anthology 在生成视觉模型方向没有形成有效候选；候选主要由 arXiv、NeurIPS/OpenReview、ICML/ICLR 页面以及作者/代码页交叉验证，Papers with Code 与 Hugging Face Daily Papers 仅用于线索核对，不将聚合页当数字来源。

实际执行 shuf -i 1-24 -n 1：第一次为 17，因 2024-04-05 到运行日已超过 24 个月，按规则重抽；第二次为 1。未因热度、作者或结果大小改变抽签。

2. Motivation：真正卡住的是“每一步只能做一件简单的事”

扩散与 flow matching 的共同做法，是把噪声到数据的复杂映射拆成很多近乎无穷小的局部更新。优点是每个局部条件分布简单、训练稳定；代价是采样要重复调用昂贵 backbone。核心论文用同一 1.7B DiT、同一 3.5 亿授权图文数据、相同 50 万步训练做对照：普通 FM 在最优质量配置下需要 128 次大骨干前向，单张 H100 用时 10.8 秒；DTM 用 16 次骨干前向与一个小 head 的内部求解达到 1.6 秒，是 6.75× 加速、时延下降 85.19%（表 3，§4.2）。

第二个痛点是视觉自回归的离散化与因果顺序。Fluid 的实证指出：连续 token 的重建 PSNR 为 31.5，离散 token 为 26.6；其 10.5B 随机顺序连续 AR 在 COCO-30K 达 FID 6.16、GenEval 0.69（Fluid 图 4、摘要与 §5）。但 raster-order 的因果模型不能回看并重排全局构图，masked AR 虽能双向建模，却不自然兼容语言模型的因果架构。TM 的问题意识因此不是“把 diffusion 变成 AR”，而是：能否保留连续状态和生成核的表达力，又把过程写成有限个可训练概率转移，使每一步可以随机、非确定、甚至完全因果？

这一选择也带来明确权衡：若每个转移核本身是小型生成模型，单个“大步”内部就要再积分；若采用 ARTM/FHTM，token 逐个生成还会导致 transition_steps × image_tokens 次骨干前向。因此论文实际提出三条路线而非一个万能算法：DTM 优先速度，ARTM/FHTM 优先因果统一。

3. 论文故事线与假设

论文故事可压成四步。

1. 把目标从向量场改成转移核。 给定源分布 p0 与数据分布 pT，学习 pθ(x_{t+1}|x_t)，使从 X0~p0 连续采样 T 次后得到 XT~pT（式 1）。
2. 用监督过程 q 提供相邻状态对。 只要求 q0=p0；它可以非连续、随机、跨分辨率，因而比固定 SDE/ODE 路径更自由（式 2–5）。
3. 把难算的转移核换成潜变量后验。 通过全概率公式引入 Y：先由模型采 Y~pθ(Y|Xt)，再由已知 q(x_{t+1}|x_t,Y) 更新（式 6–7）。
4. 实例化三种核。 DTM 预测全局差分 Y=XT−X0；ARTM 逐 token 预测下一状态；FHTM 把全部历史作为上下文，得到完全因果的视觉生成器。

核心假设是：有限步时，q(Y|Xt) 保留被 FM 条件均值抹去的多模态性；小 head 即使按 token 独立生成差分，也足以用少数外层步补偿。论文定理 1 只证明当步长趋零时 DTM 收敛到 Euler FM，并没有证明有限步一定更好；“随机核优于确定均值”主要靠实验与后续理论补充。

4. 方程级形式化与伪代码

4.1 一般 TM 目标

监督过程由数据样本终点定义：

q(x0,…,xT)=q(x0,…,x_{T−1}|xT) pT(xT), q0=p0。

直接匹配条件转移的理想目标为：

L(θ)=E_{t,Xt} D(q_{t+1|t}(·|Xt), pθ_{t+1|t}(·|Xt))。

当距离 D 有单样本经验形式 D̂ 时，可从 (Xt,X_{t+1})~q 回归：

L(θ)=E_{t,Xt,X_{t+1}} D̂(X_{t+1},pθ_{t+1|t}(·|Xt))（论文式 4–5）。

进一步引入潜变量 Y：

q(x_{t+1}|x_t)=∫q(x_{t+1}|x_t,y)q(y|x_t)dy，

只需训练 pθ(Y|Xt)≈q(Y|Xt)，采样时先生成 Y 再执行显式更新（式 6–7）。该结构把“过程设计、核参数化、核内生成模型”拆成三个可独立替换的接口。

4.2 DTM：随机差分而非条件均值

沿 Cond-OT 线性过程：

Xt=(1−t/T)X0+(t/T)XT, X0~N(0,I)，并定义 Y=XT−X0。

于是：X_{t+1}=Xt+Y/T。模型不是输出唯一速度，而是用条件 flow head 从 pθ(Y|t,Xt) 采样。其条件均值满足

E[Y|Xt=x]=E[XT−X0|Xt=x]=u_t(x)，正好等于 FM 的边际速度（式 14）。因此 FM 可看作 DTM 的无穷小、确定性极限；有限步 DTM 则保留条件分布宽度。

4.3 ARTM 与 FHTM

ARTM 使用“独立线性过程”：每个离散时刻都有独立噪声 X_{0,t}，但边际仍等于普通线性过程：

Xt=(1−t/T)X_{0,t}+(t/T)XT（式 15）。

然后按链式法则分解下一状态：

q(X_{t+1}|Xt)=∏_i q(X_{t+1}^i|Xt,X_{t+1}^{<i})。

FHTM 再把条件扩为全部历史 X0,…,Xt，使 backbone 可采用标准 causal Transformer。其代价是生成每个 token 都需要因果前向，无法获得 DTM 的并行速度。

4.4 伪代码

训练：
  repeat
    采样 t ~ Uniform{0,…,T−1} 与数据 XT ~ pT
    依监督过程 q 采样 (Xt, Y) | XT
    用 flow-matching 经验损失 D̂(Y, pθ(Y|t,Xt)) 更新 θ

采样：
  X0 ~ p0
  for t = 0,…,T−1:
    Y ~ pθ(Y|t,Xt)              # 小 flow head 内部 ODE
    X_{t+1} ~ q(·|Xt,Y)          # DTM 时为 Xt + Y/T
  return XT

5. 机制与工程细节

6. 数据集、基准与指标

训练使用 256×256 的 3.5 亿 Shutterstock 授权图文对，caption 为 1–128 CLIP tokens。评估不是五个独立数据集，而是三套 prompt/组合性基准上的多指标矩阵：PartiPrompts、MS-COCO 和 GenEval。论文没有报告 FID；这使“分布覆盖/多样性”主要依赖 preference reward 与质量打分器，不能直接与 Fluid 的 COCO FID 6.16 横向比较。

7. 完整主结果数据矩阵

7.1 PartiPrompts：六指标 × 六方法（论文表 1）

DTM 对 FM：CLIP +0.87（+3.35%）、Pick +0.14（+0.67%）、ImageReward +0.299（+128.33%）、UnifiedReward +0.339（+7.09%）、Aesthetic +0.130（+2.46%）、DeQA +0.100（+3.93%）。它赢 5/6 指标；CLIP 最优为 ARTM-3 的 27.02，而非 DTM。所有数字来自表 1；论文未给标准差。

7.2 MS-COCO：六指标 × 六方法（论文表 7）

DTM 对 FM：CLIP +0.38（+1.47%）、Pick +0.08（+0.38%）、ImageReward +0.136（+154.55%）、UnifiedReward +0.375（+7.50%）、Aesthetic +0.096（+1.76%）、DeQA +0.116（+4.70%）。DTM 并非每列最优：CLIP 是 MAR-discrete，ImageReward/UnifiedReward 是 FHTM-3 LLM。来源：表 7。

7.3 GenEval：组合性结果（论文表 2）

DTM Overall 比 FM 高 0.07（若按 0–1 比例即 +7 pp，相对 +14.89%），但 Counting 反而低 0.08（−29.63%）。因此“全面组合性提升”不成立；更精确的表述是 DTM 在双对象、颜色、位置与颜色属性上提升，计数仍是失败点。

8. 逐层消融与归因

8.1 速度—质量相变（表 8 / 9）

DTM 的收益不是 TM step 越多越好。CLIPScore 在 head NFE=4 时随 TM steps 从 1、2、4、8、16 变为 17.9、21.1、25.4、26.7、26.8，之后 32/64/128 步为 26.7/26.5/26.5；16 步已饱和。PickScore 同样在约 16 步达到 21.1。另一方面，head NFE 从 1 到 4 带来最大跃升；4 之后收益极小。真正的工程甜点是 16 外层步 × 4 head NFE，而不是主表使用的 32×64。

H100 时间表给出 backbone 约 84 ms/step、head 约 3.5 ms/step。16×4 的粗略分解约为 16×84 + 16×4×3.5 = 1568 ms，与表 3 的 1.6 s 一致；128-step FM 为约 10.8 s。这个一致性说明小 head 的成本在甜点配置并非可以完全忽略（约 224 ms，占 14.3%），但仍远小于 backbone。

8.2 监督过程：同边际，不同条件正则性

ARTM/FHTM 若使用与 DTM 相同的“共享 X0 线性路径”会退化，因为模型可能利用 Xt 与 X_{t+1} 的近确定线性关系，训练时学到捷径、推理时失效（附录 A.4，图 9）。独立线性过程为每个 t 重采 X_{0,t}，保持相同边际却扩大条件支持，100K 训练曲线显著更好。论文没有把图 9 的完整数值表导出，因此不能补造 pp 提升；可推出“条件耦合是关键变量”，不能推出其跨数据集的统计效应量。

8.3 核表达力：patch 更大只帮助低步数

DTM 默认每个 head token 对应 2×2×4 latent patch，token 间独立。把 patch 扩到 2×8×4，在 1–4 个 TM steps 时更好，但步数大时差异消失（图 10）。这与定理 1 的极限直觉一致：步长小时转移更接近局部确定流，对跨 token 联合核的需求下降。图 10 仍未提供可抄录的完整数字矩阵，因此不能量化“更大 patch 提升多少”。

8.4 Scheduler（表 10）

ARTM-3/DiT 的 MS-COCO CLIP/Pick 从 uniform 25.9914/20.8412 到 exponential 26.07/20.92；PartiPrompts 从 26.8494/20.8204 到 27.02/20.87。FHTM-3/DiT 在 COCO 也略升，但 FHTM-3/LLM 的 Parti CLIP 从 26.9945 降至 26.95。所以 scheduler 影响在约 0.05–0.17 范围，没有稳定单向优势。

9. 超参敏感性、相变与统计显著性

清晰的相变有两处。第一，DTM 从 2 到 4 个 TM steps（head NFE=4）CLIP 由 21.1 到 25.4，增 4.3；从 8 到 16 仅增 0.1，16 之后不再提升。第二，固定 16 TM steps 时，head NFE 从 1 到 2 使 CLIP 由 23.2 到 26.4，增 3.2；2 到 4 只增 0.4。这说明瓶颈先是核内生成精度，再转为外层 backbone 近似，二者都很快饱和。

论文对 CFG scale 做了附录敏感性图，但没有在 HTML 中给出可机读完整数值；主结果固定 scale=6.5。训练只报告一个配置和单一曲线，未报告多随机种子、标准差、置信区间或显著性检验。因此可以说 DTM 在所报 run 上普遍领先 FM，但不能把 MS-COCO Pick 的 +0.08 或 Aesthetic 的 +0.096 认定为统计显著。

10. 真正贡献、可复用设计与迁移潜力

真正贡献不是“又一个 sampler”，而是把生成范式拆成三个接口：监督过程 q、潜变量参数化 Y、核内生成模型 B|A。这个拆分让 diffusion、flow、连续 AR 成为同一训练模板的不同配置，也暴露了过去被绑定的设计自由度。

最可复用的工程设计是“大 backbone 抽语义、小 head 解局部随机核”。当 backbone 占主要时延时，可把更多数值求解放在 2% 参数的 head 中，以少量便宜 NFE 换取少量昂贵 NFE。这个模式可迁移到视频、3D、分子或音频，但必须验证 head 的局部独立假设是否仍成立。

FHTM 的潜力在统一多模态因果模型：文本 prefix 与图像连续 token 可以共用标准 LLM attention、训练和缓存框架。但当前证据仅表明 1.7B LLM 架构在若干自动图像指标上不差；它没有执行语言理解、图像问答或交错生成。因此“可无缝接入多模态 LLM”仍是架构兼容性陈述，不是已完成能力。

11. 论文自述限制

1. 速度限制（§4.2、§5）：ARTM/FHTM 不提供加速，骨干前向数等于转移步数乘图像 token 数；论文表 1/7 中为 2×256 或 3×256。所以因果统一与采样效率是两条分开的路线。
2. 核独立性（§2.2、§4.2）：DTM head 独立生成每个差分 token，限制联合表达力；扩大 patch 只在低 TM step 时有帮助。
3. 未来工作（§5）：作者明确把 scheduler、distillation 以及把 FHTM 纳入多模态系统列为未来方向；即论文没有完成蒸馏，也没有训练真正文本—图像统一模型。

12. 独立批判（证据 → 推论）

1. [测量口径] 因为主表 NFE* 明确只统计 1.7B backbone，却把每个 DTM step 内的 64 次 40M head 求值排除，所以“32 vs 256 NFE”不是总计算 8×；应以表 3 的 10.8 s→1.6 s（6.75×）作为更可信系统指标。
2. [效率归因] 因为表 8 显示 16×4 已接近饱和，而主表使用 32×64，所以论文主质量结果与主速度结果不是完全同一采样配置；因此不能把主表全部质量数字直接归因给 1.6 s 配置。
3. [统计] 因为所有主表都没有 seed 数、标准差或 CI，而 MS-COCO Pick 只提高 0.08（0.38%），所以这些小差异可能落在训练或采样波动内，不能宣称稳定优势。
4. [数据复现] 因为训练依赖 3.5 亿个未公开 Shutterstock 授权对，且代码/权重未找到，所以“固定数据、架构与优化”的公平性只在作者内部成立，外部无法复核。
5. [指标覆盖] 因为论文不报告 FID、precision/recall、真人盲评或复制率，六个 Parti/COCO 指标又多为学习式 reward，所以可推出代理偏好提升，不能推出分布覆盖、原创性或真实人类偏好全面提升。
6. [组合性边界] 因为 DTM 的 GenEval Overall 虽比 FM 高 7 pp，但 Counting 从 0.27 到 0.35仍低 FHTM-3 的 0.44，且单对象低于 MAR 的 0.98，所以“DTM 改善组合性”应限定到双对象、颜色、位置等子项。
7. [理论—实践缺口] 因为定理 1 只证明 T→∞ 时 DTM 收敛到 Euler FM，而实际优势发生在有限 T，所以定理解释了“为什么最终相同”，没有证明“为什么有限步更优”；后续 AISTATS 2026 工作才在高斯/混合高斯局部单峰条件下补充 KL 优势。
8. [统一模型叙事] 因为 FHTM-3 LLM 只把 2D 位置编码改为 1D、以文本 prefix 输入，并未评测语言生成或交错序列，所以当前实验支持“架构可移植”，不支持“已统一文本与图像生成”。

13. 相关工作链：问题来源 → 技术来源 → 回应

13.1 Flow Matching（Lipman et al., 2022）

解决什么：用条件概率路径回归向量场，免去仿真式训练，并以 Cond-OT 获得更直、更快的路径。遗留缺口：推理仍是确定 ODE，需要许多昂贵 backbone 调用；有限大步会把条件多模态压成均值。核心论文如何回应：DTM 不只回归 E[Y|Xt]，而是采样完整 p(Y|Xt)。设计如何传递：Cond-OT 线性路径、速度恒等式与 flow-matching head 被保留，但从“目标”降为“核内生成器”。

13.2 MAR：Autoregressive Image Generation without VQ（Li et al., 2024）

解决什么：用小 diffusion loss 建模连续 token，绕开 VQ 信息损失。遗留缺口：单轮 masked/raster AR 的顺序与注意力限制全局构图，且 token 内扩散仍昂贵。核心论文如何回应：ARTM 把 AR token 生成置于多个外层 Markov 转移中，FHTM 再保留完整历史。设计如何传递：1.7B backbone + 6 层小 head、连续 latent 与 per-token flow 都直接继承并扩展。

13.3 Fluid（Fan et al., 2024）

解决什么：系统比较离散/连续 token 与 raster/random order，证明连续随机顺序在视觉质量和 GenEval 上更强；10.5B 达 COCO FID 6.16、GenEval 0.69。遗留缺口：强模型依赖双向 masked attention，和标准因果 LLM 不自然统一。核心论文如何回应：FHTM 用完整历史 + causal attention，使相同 1.7B 规模的 LLM 架构在作者指标上接近或超过 DiT。设计如何传递：连续 token、随机/因果顺序、head NFE 都成为 TM 对照轴。

13.4 Generator Matching（Holderrieth et al., 2025）

解决什么：用一般 Markov generator 统一连续与离散生成过程，可叠加 jump process。遗留缺口：它仍从连续时间无穷小生成元出发，工程实现与模型类别较抽象。核心论文如何回应：TM 直接工作在离散时间转移核，训练只需相邻状态对；表达力放到每个有限步的内核模型。设计如何传递：任意监督过程与 modality-agnostic 统一思想保留，但建模对象从 generator 换成 kernel。

13.5 后续：Demystifying TM（AISTATS 2026）

解决什么：补上原论文有限步优越性的理论：对单峰高斯，TM 在任意有限步数有更低 KL，因为随机差分更新保留协方差；在模态分离且方差非零的 GMM 局部区域优势仍在。遗留缺口：结论依赖受控分布近似，尚不能直接推出大规模图像模型的全局最优。设计如何传递：把原文“更富表达的随机核”从经验归因推进到协方差保持机制，并发布图像/视频代码。

14. 技术演进树

连续时间路径
├─ Diffusion：随机微步 + 高 NFE
├─ Flow Matching：确定向量场 + ODE
│  ├─ Cond-OT：更直路径
│  └─ Generator Matching：任意连续时间 Markov generator
└─ Transition Matching：有限离散步 + 可学习概率核
   ├─ DTM：全局差分随机核 → 少量昂贵 backbone + 多次便宜 head
   │  └─ Demystifying TM：有限步 KL / 协方差解释
   ├─ ARTM：下一状态按连续 token 自回归
   └─ FHTM：全历史因果 Transformer
      └─ 目标：文本—图像统一因果模型

另一条技术来源
VQ 自回归 → MAR 连续 token → Fluid 随机顺序扩展
                         └────────────→ ARTM / FHTM

演进的动力有三次转折：第一，从模拟 SDE 转到直接回归向量场；第二，从离散 VQ token 转到连续 token 的小生成 head；第三，从“每一步确定更新”转到“每一步本身是条件分布”。TM 的关键不是更复杂路径，而是承认有限步条件分布应当有方差。

15. 跨论文对标

16. 开放挑战：必须可 head-to-head 验证

理论

1. 有限步非高斯界：同一 1.7B backbone、同数据，比较 DTM 与 FM 在 2/4/8/16 步上的 empirical KL surrogate、协方差谱和 mode coverage；预注册“DTM 优势随 mode separation 增大”的趋势，连接 AISTATS 2026 理论与真实 latent。
2. 核独立性误差：比较 per-token、2×2、2×8、全图低秩耦合四种 head；固定总 FLOPs，测 FID、precision/recall、GenEval，判断表达力来自更大联合核还是单纯更多参数。

工程应用

3. 统一计费：在 H100/B200 上统一报告端到端 latency、energy、峰值显存、全部 backbone/head NFE，比较 FM、DTM、MeanFlow、Shortcut；按相同 CLIP/Pick 下的 Pareto frontier 排名。
4. 复现公平性：在可公开的 DataComp-1B 子集上重训 FM/DTM/MAR，至少 3 seeds，公开权重与日志；检验 +0.08 Pick 是否超过 95% CI。
5. 视频迁移：固定 Wan2.1 1.3B 与相同训练帧数，比较 DTM、TMD、普通 flow distillation 的 VBench、FVD、temporal LPIPS 与实时 FPS；特别检查随机核是否改善长期模式坍缩。

新兴方向

6. 真正的多模态统一：让 FHTM 与同规模 causal VLM 在交错文本—图像、caption、VQA、图像 continuation 上 head-to-head；共享 tokenizer/参数预算，验证“架构兼容”能否变成双向能力，而非仅图像生成。
7. 安全与记忆：在相同训练数据上比较 FM/DTM 的 membership inference、最近邻复制率与 NSFW prompt 遵循。随机大步可能增强 mode coverage，也可能更易恢复训练样本；目前完全未知。

17. 近期工作追踪

1. Exploring the Design Space of Transition Matching（2025-12-13）：训练 56 个 1.7B 模型、549 次评估，系统搜索 head、time weighting 与 sampler；价值在于把原论文的少数设计点扩成工程地图。https://arxiv.org/abs/2512.12465
2. Demystifying Transition Matching（AISTATS 2026）：给出 TM 在高斯/局部单峰混合高斯上有限步优于 FM 的条件，并有官方图像/视频代码；是当前最直接的机制补强。https://arxiv.org/abs/2510.17991
3. Transition Matching Distillation for Fast Video Generation（2026-01-14）：把每个外层转移拆成 backbone + flow head，并蒸馏 Wan2.1 1.3B/14B；将 TM 从训练范式推进到预训练视频模型压缩。https://arxiv.org/abs/2601.09881
4. Diff2Flow（2025-06-02）：通过时间与插值对齐把 diffusion prior 直接改造成 flow matching，适合参数高效微调；它解决“已有 diffusion 资产如何迁移”，与 TM 的“如何重新定义有限步核”互补。https://arxiv.org/abs/2506.02221
5. Vid2World（2025-05-20）：将预训练视频扩散模型因果化，并加入 action guidance；可作为 TM 迁移到交互世界模型时的重要对照。https://arxiv.org/abs/2505.14357
6. Co-generation of Layout and Shape via Autoregressive 3D Diffusion（2026-04-17）：在 23 万室内场景上用 3D-ARD+ 联合生成布局与对象 latent；展示“外层 AR + 内层 diffusion”在 3D 的相邻设计。https://arxiv.org/abs/2604.16552
7. GaussianGPT（2026-03-27）：把 Gaussian primitives VQ 化后做纯自回归，提供 TM 连续状态路线的离散 3D 对照。https://arxiv.org/abs/2603.26661

18. 结论

Transition Matching 最值得记住的观点是：当采样只能走有限步时，正确对象可能不是一个速度均值，而是一整个条件转移分布。 在作者控制的 1.7B 对照里，DTM 对 FM 在 PartiPrompts 提升 5/6 个指标，GenEval Overall 从 0.47 到 0.54，同时 H100 时延从 10.8 s 降到 1.6 s。这个结果足以证明随机有限步核是强设计空间，但还不足以证明通用 SOTA：训练数据与代码未公开、无 FID/真人盲评/多 seed、主表 NFE* 排除了 head，且 FHTM 的“多模态统一”仍停留在图像生成指标。

来源说明：核心数字来自论文 arXiv v1 的表 1、2、3、7、8、9、10 与 §4/附录 A.1；所有二次计算均由表中原值计算。未报告的标准差、置信区间、FID、真人偏好与代码状态均明确标注，未作补造。索引 ml-report-index.md 已在本次运行追加记录。