Q-VDiT 深度报告

日期：2026-08-26
今日领域：生成模型——视频扩散 Transformer 的量化与蒸馏
核心论文：Q-VDiT: Towards Accurate Quantization and Distillation of Video-Generation Diffusion Transformers
发表：ICML 2025，PMLR 267
随机选择记录：候选池共 24 篇；执行 shuf -i 1-24 -n 1 抽中第 23 篇；正式全文、代码与评测细节可访问，无重抽。

一句话核心定位：Q-VDiT 把视频 DiT 的低比特退化从“逐层数值误差”重新定义为“token/feature 信息损失 + 跨帧关系错位”，再用秩 1 误差旁路与全视频关系蒸馏分别补偿两者。

0. 链接验证表

下列链接均于 2026-08-26 实际访问。版本日期以 arXiv submission history 为准；“数据/权重”只列作者或基准维护方公开的资源，不把基础模型下载地址误写成 Q-VDiT 量化权重。

0.1 候选池与去重

候选均为 ICML 2025 主会论文，处于最近 12 个月优先范围。已排除近 14 天深度覆盖的 EPG（pixel-space 生成）、DM/Flow Matching alignment（奖励对齐）与 KLDM（晶体生成），也未把它们的同主题变体放进核心抽签。

1. SITCOM: Step-wise Triple-Consistent Diffusion Sampling For Inverse Problems
2. FlexTok: Resampling Images into 1D Token Sequences of Flexible Length
3. Impossible Videos
4. Highly Compressed Tokenizer Can Generate Without Training
5. Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation
6. Mechanisms of Projective Composition of Diffusion Models
7. Ergodic Generative Flows
8. Accurate and Efficient World Modeling with Masked Latent Transformers
9. Efficient Molecular Conformer Generation with SO(3)-Averaged Flow Matching and Reflow
10. Vector Grimoire: Codebook-based Shape Generation under Raster Image Supervision
11. Accelerated Diffusion Models via Speculative Sampling
12. Distributional Diffusion Models with Scoring Rules
13. FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing
14. Scalable Non-Equivariant 3D Molecule Generation via Rotational Alignment
15. Harmonizing Geometry and Uncertainty: Diffusion with Hyperspheres
16. Controlled Generation with Equivariant Variational Flow Matching
17. WyckoffDiff: A Generative Diffusion Model for Crystal Symmetry
18. Visual Generation Without Guidance
19. Fundamental Limits of Visual Autoregressive Transformers
20. Subobject-level Image Tokenization
21. VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models
22. FlexControl: Computation-Aware Conditional Control with Differentiable Router for Text-to-Image Generation
23. Q-VDiT: Towards Accurate Quantization and Distillation of Video-Generation Diffusion Transformers
24. CHATS: Combining Human-Aligned Optimization and Test-Time Sampling for Text-to-Image Generation

1. 核心论文深度解析

1.1 Motivation：视频量化不是图像量化乘以帧数

视频扩散 Transformer 同时面对三个放大器。第一，DiT 的参数和矩阵乘法规模本来就大；ViDiT-Q 在正文第 2 页给出的部署例子是，Open-Sora 生成仅 16 帧、512×512 的视频就占用超过 10 GB GPU memory。第二，视频 latent token 数不是空间 token 数 (s)，而是 (n=st)，帧数 (t) 直接扩展序列，因而量化误差会沿空间、时间与迭代 denoising 三个方向传播。第三，视频质量不是逐帧质量的简单平均：主体、背景、运动与语义必须在帧间保持可追踪关系。

传统 PTQ 往往最小化全精度层输出与量化层输出的 MSE。这一目标能回答“同一位置的向量是否接近”，却不能回答“第 3 帧相对第 1、2、4 帧的关系是否还像教师”。Q-VDiT 用实验把这一缺口量化：W3A6 的 PTQ4DiT 在 VBench scene consistency 只有 7.85，EfficientDM 为 12.04，而 Q-VDiT 达 23.40；相对逐列最强既有方法提升 11.36 分、94.35%（核心论文表 1，W3A6 行）。在 Open-Sora 10-prompt 评测上，W3A6 的 VQA-Technical 从既有最优 EfficientDM 的 29.58 上升到 59.10，绝对增幅 29.52 分、相对增幅 99.80%（表 2）。这两项是全文最强证据：低比特极限下，忽略 token 与时间关系会出现近乎灾难性的质量断崖。

问题的新颖处不在“给扩散模型做量化”，而在量化目标的对象发生了变化。EfficientDM 优化去噪知识，PTQ4DiT 建模 timestep-wise salient channel，ViDiT-Q 进一步处理 DiT 的 token/channel/timestep 分布和敏感层；Q-VDiT 则提出：即便这些局部统计被处理，视频的关系结构仍可能丢失。因此它把误差恢复放在 token/feature 两个正交方向，把蒸馏放在帧间关系分布上。

1.2 论文故事线：两个失败模式对应两个模块

论文的论证链可以压缩成四个转折。

转折一：量化等价于对每层权重施加扰动。 设第 (i) 层权重为 (W_i)，反量化权重为 Q(W_i))，则 Q(W_i)=W_i+_i。作者先把部署问题改写为“如何用少量参数估计 _i”。

转折二：低熵不等于零误差，但提示可压缩表示。 论文定理 3.2 声称 (H(_i)H(W_i))，据此采用 rank-1 分支估计矩阵乘法误差。关键权衡是保留一个高精度、极低秩旁路：牺牲严格的全整数纯度，换取低位宽下的信息恢复。

转折三：feature-only 旁路不够。 视频 token (n=st) 中，不同帧的激活量化损失不同；作者用每帧一个缩放量 (M_i) 对 token 侧进行预缩放，再用向量 (,) 在输入/输出 feature 侧做低秩校正。这形成 TQE。

转折四：MSE 看不到全视频关系。 逐帧 MSE 的梯度只连接学生第 (i) 帧与教师第 (i) 帧；TMD 改为匹配每帧与全部帧的相似度分布。这样第 (i) 帧梯度同时受所有 (j) 帧影响，蒸馏目标从点对点回归升级为关系保持。

隐含权衡也很清晰：Q-VDiT 不做端到端视频再训练，只用少量 calibration prompts 和层级蒸馏，训练成本较低；代价是它对全精度教师、基础模型中间激活、特定 prompt/step 采样和校准 GPU memory 有依赖，因此不是“直接量化即可部署”的纯 PTQ。

1.3 形式化定义与机制解剖

均匀量化

对浮点向量 (x_f)，(N)-bit 仿射量化与反量化为（核心论文式 3–4，第 3 页）：

[ x_q=((x_f/s)+z,0,2^N-1), s=,z=-(l/s), ]

[ x_f=(x_q-z)s. ]

Q-VDiT 仅量化 linear weights；权重采用 channel-wise quantization，激活采用 dynamic token-wise quantization（附录 B，第 14 页）。这意味着论文标题下的 W3A6 不是全模型每个算子都变为 3/6 bit；仓库运行说明还保留计算量占比小于 1% 的若干层为 FP。

TQE：token-aware 的秩 1 误差旁路

对 (XR^{{nd_{in}})、(WR}{d_{out}d_{in}})，基础低秩近似是（式 7，第 4 页）：

[ =X, XW^XQ(W)+, ]

其中 (R^{{d_{in}})、(R}{d_{out}})。原误差若直接表示需 (d_{out}d_{in}) 个参数，而 rank-1 分支只需 (d_{in}+d_{out})。若 (d_{in}=d_{out}=d)，参数比约为 (2/d)：在 (d=1152) 时仅约 0.174%，但论文没有按 Open-Sora 各层宽度汇总真实总参数比例。

视频 token 被分为 (t) 帧、每帧 (s) 个空间 token，(f_i=is)。TQE 在第 (i) 帧块上引入 (M_i)：

[ {[f_i+1:f_i+s,:]}= M_iQ(X){[f_i+1:f_i+s,:]}, ]

[ XW^Q(X)Q(W)+. ]

(M_i=_i/_i)。其中 (_i) 由原激活与量化激活的序列相似度损失经 softmax 得到，(_i) 用该帧 token 显著性归一化（式 9，第 4 页）。直觉是：误差更大、但自身幅值不占优势的帧，应获得更强补偿。(M) 按误差/显著性初始化，() 用 Kaiming 初始化，() 初始化为 0。

TMD：匹配帧间关系分布

令教师与量化学生的层输出分别为 (S^{FP},SQR^{nd})。基础任务损失是（式 10–11，第 5 页）：

[ L_{task}=S^{FP}-SQ2^2 ={i=0}^{t-1}S{FP}_{i}-S^Q_i_2^2. ]

TMD 先计算帧 (i,j) 的相似度 (T_{i,j}=(S_i,S_j))，再形成每帧面向全视频的关系分布（式 13–15）：

[ D_i=([T_{i,1},,T_{i,t}]), L_{temporal}=_{i=1}^{t}(D_i{FP}D_i^Q). ]

最终目标为（式 19，第 6 页）：

[ L_{total}=L_{task}+L_{temporal}, . ]

论文式 16–18 展示了关键性质：学生第 (i) 帧的梯度不再只由教师第 (i) 帧决定，而通过 (T_{i,j}) 接收所有帧的关系信号。它优化的是“关系拓扑像不像教师”，不是单纯压低每个 token 的欧氏距离。

流程示意

10 个 calibration prompts × 均匀抽取 50 个 denoising steps
                         │
        ┌────────────────┴────────────────┐
        │                                 │
  全精度 V-DiT 教师                  低比特学生 WbAq
        │                                 │
  保存层输出 S^FP          Q(X)Q(W)^T + [M·Q(X)α]β
        │                                 │
        └────逐帧 MSE──────┬────帧关系 KL─┘
                           │
                 L_task + γ L_temporal
                           │
        5k/10k/15k calibration iterations
                           │
                 量化 checkpoint + TQE

1.4 关键机制与工程细节

1.5 实验设计：基准、数据与指标

核心实验使用两个基础模型：Open-Sora v1.0 做 text-to-video；Latte 在 UCF-101 上做 class-conditioned video generation。三组位宽是 W4A6、W3A8、W3A6，另补充 W8A8、W6A6、W4A8。W/A 分别表示 weight/activation bits。

评价方向并不完全一致。CLIPSIM、CLIP-Temp、VQA、VBench consistency 通常越高越好；Warping Error、()FLOW、FVD、FVD-FP16 越低越好。Dynamic Degree 是“动得多不多”，并非普适的质量单调指标；报告只在相同 prompt 集内把它作为作者定义的对比维度。

1.6 主结果矩阵：W3A6 是最有辨识度的压力测试

下表完整抄录核心论文表 2 的 W3A6 区块。粗体为量化方法中的逐列最优；括号是 Q-VDiT 相对此前逐列最强方法的绝对变化与相对变化。所有比例均由原表数字复算。

全文最有说服力的定量证据不是 CLIP-Temp 的 0.0002，而是 VQA-Technical 的近翻倍：在相同 Open-Sora、相同 W3A6、相同 prompt 设置下，59.10 对 29.58 表明 Q-VDiT 避免了极低位宽基线的画面崩溃。不过它甚至比 FP16 的 53.49 高 5.61 分，这同时提醒我们：DOVER VQA 可能受量化正则化、样本波动或指标偏好影响，不能单独等同于“比教师更真实”。

VBench W3A6 的六方法×八维矩阵如下（核心论文表 1）。

Q-VDiT 在八维均胜过这些强基线，但离 FP16 的剩余差距不均匀：Imaging −10.08 分、Aesthetic −7.46、BG −0.72、Subject −1.22、Scene −16.21、Overall −3.63；Motion Smooth 反而 +0.70。最难恢复的是 scene semantics，而不是局部平滑。所谓“几乎无损”更适用于部分维度，不应广播到全部视频质量。

UCF-101/Latte 的跨模型结果进一步验证迁移（核心论文表 6，W3A6）：ViDiT-Q 到 Q-VDiT 的 FVD 从 100.05 降至 98.15（−1.90，−1.90%），FVD-FP16 从 84.79 降至 82.09（−2.70，−3.18%），VQA-Aesthetic 从 16.83 升至 19.79（+2.96，+17.59%），VQA-Technical 从 19.61 升至 25.81（+6.20，+31.62%）。增益仍一致，但远小于 Open-Sora 表 2 的 +99.80%，说明效果量依赖基础模型和评测协议。

1.7 消融：TQE 是主增益，TMD 负责补齐关系维度

核心论文表 4 的标题写“W3A8”，表内 Bit-width 却全部写 3/6；以下忠实保留表内数值并把该矛盾列入复现风险。

从 PTQ4DiT 到 feature-only TQE，八维绝对增益依次为 +6.05、+7.49、+2.71、+27.77、+3.27、+5.06、+14.09、+5.10；说明 rank-1 误差旁路是主驱动力。加入 token scaling (M) 再带来 +0.99、+1.28、+0.63、+4.17、+0.26、+0.65、+0.44、+0.35，对 Dynamic Degree 最敏感。单独 +TMD 相比 PTQ4DiT 的 scene 增益为 +15.02，略高于 feature-only TQE 的 +14.09；而完整组合比单独 +TMD 仅多 +0.53 scene、+0.27 overall。这表明两个模块部分重叠，论文没有提供二因素交互统计，不能据表直接断言严格协同。

1.8 超参敏感性、相变与统计显著性

图 6 比较 ({50,100,200}) 与 PTQ4DiT，作者称三者均优于 baseline，并选 () 作为平衡值。论文未给图 6 的精确数字表，因此本报告不从柱高反推数值，也不能计算敏感区间或相变点。就可核验信息而言，只能说在 50–200 范围内没有报告性能崩塌；不能推出区间外稳定性，也不能证明 100 是统计最优。

位宽本身出现明显非线性。在 Open-Sora 表 2 中，Q-VDiT 从 W4A6 到 W3A6 的 VQA-Aesthetic 由 67.05 降至 53.53（−13.52），但 VQA-Technical 由 53.75 升至 59.10（+5.35）。这不是统一的“bit 越低越差”曲线，而是不同自动指标对量化噪声、平滑和样本的响应不一致。真正可称为相变的是多数基线在 3-bit weight 下 technical quality 接近崩溃，而 Q-VDiT 没有随之崩溃；但其阈值只在 3/4 bit 两个离散点间被观测，尚无连续位宽或 layer-wise phase diagram。

统计显著性：论文未报告。 主表未给标准差、置信区间、重复 seed 或 bootstrap；Open-Sora multi-aspect 表仅 10 个 prompts。CLIP-Temp 的 +0.0002 与 CLIPSIM 的 +0.0017 很可能对采样 seed 敏感，现有证据不足以判断显著性。scene consistency +11.36 与 VQA-Technical +29.52 的量级更大，但仍需要 paired prompt bootstrap 才能将“本次样本优势”提升为稳健结论。

1.9 效率：量化确实省推理资源，但校准并不免费

核心论文表 7 报告 W4A8 Open-Sora：Q-VDiT 相对 FP16 的 memory saving 2.40×、inference acceleration 1.35×，VQA-Aesthetic 71.32、Technical 55.56；ViDiT-Q 分别为 2.42×、1.38×、60.62、49.38。Q-VDiT 用约 0.83% 更少的内存收益和 2.17% 更低的加速比换来 +10.70 / +6.18 的两项 VQA 提升，说明 TQE 的推理代价小但不是零。

校准侧则相反。表 5 的 W8A8 实验中，Q-VDiT 使用 18,770 MB、12.9 GPU-hours，ViDiT-Q 为 16,600 MB、12.5 hours；前者多 2,170 MB（13.07%）、0.4 hours（3.20%）。相比 PTQ4DiT，Q-VDiT memory 多 1,120 MB（6.35%）、time 多 0.1 h（0.78%）。所以更准确的工程结论是：推理端获得约 2.4× memory 与 1.35× latency 改善，但校准端为关系蒸馏支付约 13% 峰值 memory 增量。

1.10 真正贡献、可复用设计与迁移潜力

第一项真正贡献是把“视频量化”从静态权重误差转为结构保持问题。TMD 的思想可以脱离量化使用：剪枝、低秩分解、蒸馏、缓存压缩乃至 few-step video diffusion，只要学生可能逐帧接近却全局漂移，都可以匹配帧间关系分布。

第二项是 token-aware rank-1 compensation。TQE 把 SVDQuant 的高精度低秩旁路进一步压到 rank 1，并用视频帧级 (M) 改造旁路输入。这种“低秩 feature 修复 + 结构化 token gating”的组合可迁移到长上下文 VLM、时序 Transformer 与 audio diffusion；前提是 token 分组有明确语义，且运行时 kernel 能融合旁路。

第三项是把极低位宽作为诊断器。W4A6 时许多方法尚能维持部分指标，W3A6 才暴露不同机制的真实差异。后续方法评测不应只报一个温和位宽，而应绘制 bit budget—质量—延迟 Pareto，并明确哪些维度先崩溃。

可直接复用的设计包括：按结构组初始化 token compensation；以教师关系矩阵代替或补充 pointwise MSE；把 calibration iterations 随 bit-width 自适应增加；在 low-bit kernel 内融合 low-rank branch，避免单独读取 activation。

1.11 局限性

A. 论文自述或正文明确承认的限制

1. FVD 小样本不稳定。 附录 D.2 第 15 页明确指出，仅用 101 个真实视频时，FVD 不能充分覆盖数据多样性，结果可能不准确、不稳定；作者因此提出以 FP16 生成视频为 reference 的 FVD-FP16。这一修补测的是“学生像不像教师”，不是“生成分布像不像真实数据”。
2. TQE 有额外推理计算。 附录 F 第 16 页承认 rank-1 branch 带来开销，并引用 SVDQuant 的 LoRunner kernel 论证可融合；表 7 仍显示 Q-VDiT 的 1.35× acceleration 略低于 ViDiT-Q 的 1.38×。
3. 没有正式 Limitations 章节。 第 9 页 Impact Statement 只称无特别需要强调的社会后果；论文没有讨论深度伪造、部署设备、能耗、数据偏差或自动指标失效。因此可确认的自述限制少于要求的 2–3 个完整研究边界，本报告不补写成作者观点。

B. 补充批判（独立观察）

1. [理论论证缺口] 低熵不推出低秩。 因为定理 3.2 只给出 (H()H(W))，即使在离散 Shannon entropy 设定中成立，也不能推出误差矩阵存在 rank-1 近似；“信息量少”与“线性代数秩低”是不同命题。所以 TQE 的 rank=1 选择主要由消融表 4 支持，而不是被定理证明。

2. [理论定义风险] 连续权重的熵类型未被澄清。 因为神经网络权重通常视为连续变量，deterministic mapping 的离散熵单调性不能无条件套到 differential entropy；量化 scale 又依赖权重范围。论文附录 A 的证明使用映射与离散求和直觉，却没有清楚限定随机变量、分桶或经验分布，因此所谓“theoretical proof”对真实浮点矩阵的外推范围有限。

3. [实验设计问题] 10-prompt 主矩阵没有重复采样。 因为表 2 只由 10 个 Open-Sora prompts 各生成一个视频，且未报 seed/CI，所以 CLIP-Temp +0.0002、CLIPSIM +0.0017 无法与采样方差区分；即使 VQA-Technical +29.52 很大，也不能给出显著性概率。

4. [可复现性风险] 消融位宽自相矛盾。 因为表 4 caption 写 W3A8，而每一行 Bit-width 写 3/6，所以读者无法仅凭论文确定消融对应激活 8-bit 还是 6-bit；而表 1 显示 W3A8 与 W3A6 的 Q-VDiT scene 分别 25.07、23.40，差 1.67 分，该差异足以影响消融解释。

5. [指标有效性问题] “超过 FP16”可能是 metric gaming 或样本波动。 因为 W4A8 Q-VDiT 的 VQA-Aesthetic 71.32 高于 FP16 66.91（+4.41，+6.59%），W3A6 的 VQA-Technical 59.10 也高于 FP16 53.49（+5.61，+10.49%），但论文无人工偏好测试，所以不能把自动指标超教师直接解释为生成质量超教师。

6. [工程论证缺口] TQE kernel 代价没有独立测量。 因为附录 F 用 SVDQuant rank=16 “约 5% latency”推断 rank=1 几乎无成本，而表 7 只给完整 Q-VDiT 与 ViDiT-Q 的综合差异，所以无法拆分 token scaling、rank-1 branch 与其他量化设置各自的真实 kernel latency。

7. [缺乏关键竞品对比] 评价协议继承了 ViDiT-Q，但未覆盖更新、更大 V-DiT。 因为主模型仍是 Open-Sora v1.0 与 Latte，且代码只支持 Open-Sora v1.0；后续 S²Q-VDiT 已在 HunyuanVideo 上报告 W4A6、3.9× compression、1.3× acceleration。Q-VDiT 的“edge deployment”结论尚未在更大 text-to-video backbone 或真实边缘设备验证。

8. [失手子任务] scene semantics 仍远离教师。 因为 W3A6 scene consistency 虽从 12.04 升到 23.40，却仍低于 FP16 39.61 16.21 分（40.92%）；Imaging Quality 也低 10.08 分。因此“几乎无损”只适用于部分技术/运动指标，不能覆盖语义场景完整性。

9. [公平性边界] 校准预算与方法范式不完全同类。 因为 ViDiT-Q 是 no-calibration baseline，Q-VDiT 用 5k–15k iterations、教师中间输出和 18,770 MB calibration memory；虽然论文称对 calibration-based baselines 使用相同设置，但“更准”与“更多校准优化”无法完全分离。公平 Pareto 应同时固定 calibration GPU-hours。

2. 相关工作回溯：问题如何一步步传递

2.1 Scalable Diffusion Models with Transformers — 2023.10，ICCV 2023 Oral

解决了什么。 DiT 把 latent diffusion 的 U-Net backbone 改为对 latent patches 操作的 Transformer，并系统比较深度、宽度与 patch size。其核心发现是 forward-pass Gflops 与 FID 强相关；DiT-XL/2 在 ImageNet-256 达 FID 2.27（论文表 2），证明 Transformer 可以作为可扩展生成 backbone。

遗留缺口。 可扩展性以更多参数、token 与矩阵乘法为代价。DiT 的成功把问题从“Transformer 能不能生成”推向“如何在不破坏生成轨迹的前提下降低每次 denoising 的 memory/latency”。原论文没有讨论低比特部署，且主要是单图像、class-conditioned ImageNet。

Q-VDiT 如何回应。 Q-VDiT 直接作用于 DiT linear layers；视频化后 (n=st) 让 token 数进一步放大，量化成为把 DiT scaling 转为可部署系统的必要环节。

设计传递。 DiT 的 tokenized latent 与 Transformer linear blocks提供了统一量化单元；Q-VDiT 不改 backbone，而是在这些矩阵乘法上增加 rank-1 correction，并把帧作为 token 分组。

2.2 EfficientDM — 2024.05，ICLR 2024 Spotlight

解决了什么。 EfficientDM 试图获得 QAT 质量但保留 PTQ 的数据/时间效率：它用 quantization-aware LoRA、教师去噪蒸馏、scale-aware optimization 与 temporal learned step-size quantization，且不需要原训练数据。论文表 4 报告相对 QAT 方案约 16.8× 更快的量化过程，并在 ImageNet LDM-4 W4A4 下把 sFID 增量压到 0.05（其摘要与表 2）。

遗留缺口。 它的任务仍主要是 U-Net/image diffusion，蒸馏目标强调去噪输出；论文 Limitations 承认相对 PTQ 需要更多可训练参数和 GPU memory。更重要的是，单图像没有“不同帧之间应该维持何种关系”这一结构目标。

Q-VDiT 如何回应。 Q-VDiT 继承“少量可训练参数 + 教师蒸馏”的中间路线，但把 QALoRA 压缩为每层 rank-1 TQE，把蒸馏从点级去噪误差扩展到帧间关系 KL。

设计传递。 可训练低秩旁路、teacher-student calibration、位宽越低校准越久，都来自这条技术线；Q-VDiT 的改变是让低秩参数与 token/帧结构显式耦合。

2.3 PTQ4DiT — 2024.12，NeurIPS 2024

解决了什么。 PTQ4DiT 首次系统化 DiT PTQ 的两类异常：salient channels 的极值，以及这些显著激活随 denoising timestep 变化。Channel-wise Salience Balancing 在 weight/activation 间重分配极值，Spearman-ρ-guided Salience Calibration 对更可补偿的 timestep 加权；离线重参数化消除推理额外开销。其表 1 显示 W8A8 可接近 FP，并首次把 DiT 推到有效 W4A8。

遗留缺口。 它聚合的是 denoising timestep 维度，不是视频 frame 维度；评测是 ImageNet 图像 DiT。即使 timestep outlier 被校准，视频中的 subject/background/scene relations 仍未进入优化目标。

Q-VDiT 如何回应。 Q-VDiT 保留 PTQ4DiT 的 calibration 作为基础优化范式，并将帧级 (M) 置于 activation token 侧；TMD 则用全帧相似度分布补足 PTQ4DiT 的关系盲区。

设计传递。 “不同结构位置需要不同量化待遇”从 channel/timestep salience 进化为 frame/token-aware compensation；Spearman correlation 的统计校准思想也出现在 TQE 的相似度与显著性初始化中。

2.4 ViDiT-Q — 2025.04，ICLR 2025

解决了什么。 ViDiT-Q 是最直接前驱：它同时处理 token/channel/timestep/condition 分布，使用 dynamic quantization、static-dynamic channel balancing 和 metric-decoupled mixed precision，并给出 CUDA kernel。论文报告 W4A8 在多种 image/video DiT 上近乎无损，获得 2–2.5× memory saving、1.4–1.7× latency speedup。

遗留缺口。 ViDiT-Q 的核心仍是范围、outlier、敏感层和 bit allocation；它没有用教师关系图约束帧间结构。低到 W3A6 时，核心论文重跑的 ViDiT-Q 在 Open-Sora VQA-Technical 只剩 10.26、scene 11.99，说明“分配正确的 bit”仍不足以恢复低位宽下的视频语义。

Q-VDiT 如何回应。 Q-VDiT 沿用相同 Open-Sora/Latte、dynamic token-wise activation 与评测协议，在同台对比中加入 TQE+TMD。它不是对抗 ViDiT-Q，而是在其量化工程地基上增加误差旁路与 temporal relational distillation。

设计传递。 ViDiT-Q 的 dynamic token-wise quantizer、混合精度配置与硬件 kernel 路径直接进入 Q-VDiT 代码；Q-VDiT 的新层次是“量化统计适配 → 结构误差恢复”。

3. 技术演进脉络

2023 DiT [latent patch Transformer；更大 Gflops → 更低 FID]
   │
   ├─ 2024 EfficientDM [低秩可训练旁路 + teacher denoising distillation]
   │        └─ 遗留：图像/U-Net 为主，关系结构未建模
   │
   └─ 2024 PTQ4DiT [channel salience + timestep-aware calibration]
            │
            └─ 2025 ViDiT-Q [token/channel/timestep/condition + mixed precision + CUDA]
                         │
                         ├─ 解决：视频 DiT 的分布与硬件量化
                         └─ 遗留：W3A6 下跨帧语义仍崩溃
                                      │
                                      ▼
2025 Q-VDiT [rank-1 feature correction + frame-token scaling + relational TMD]
   │
   └─ 2025 S²Q-VDiT [更大 V-DM；salient calibration data + sparse token distillation]

演进的内在推动力是从参数压缩走向生成轨迹保持，再走向关系结构保持。早期量化关心每层量化误差；扩散模型迫使方法考虑 timestep；DiT 又迫使方法考虑 token/channel；视频最终迫使方法把 frame relations 纳入目标。关键转折不是又多一个 quantizer，而是“什么算误差”的定义发生变化。

社区关注点也从离线 FID 转向端到端 Pareto。DiT 原始工作用 FID 与 Gflops 说明 scaling；PTQ4DiT 证明 W4A8 可行；ViDiT-Q 首次强调实际 kernel 的 memory/latency；Q-VDiT 再用 VBench 多维指标说明同样数值误差可能对应不同 temporal damage。下一阶段必须统一质量、校准成本、推理延迟与设备功耗，否则单项 SOTA 很难指导部署。

4. 跨论文对标

5. 开放挑战与可操作研究机会

5.1 理论层面

1. 低熵与低秩的 head-to-head 验证。 在同一层保存真实误差矩阵，比较 rank-1 TQE、rank-(r) SVD、稀疏矩阵和 Kronecker 分解，在相同参数量下报告 reconstruction error 与视频指标；检验熵是否能预测最佳结构。
2. 关系蒸馏的稳定性界。 推导当 ((D^{FP}DQ)) 时，subject/scene consistency 的可保证变化；与仅约束 feature MSE 的界进行比较。
3. 量化误差的正确熵定义。 对经验直方图 Shannon entropy、rate-distortion、differential entropy 和 singular-value effective rank 做并列相关分析，判断哪一项真正解释 TQE 增益。

5.2 工程与应用层

1. 等校准预算对比。 固定为 12.5 GPU-hours 和 16.6 GB peak memory，比较 ViDiT-Q、PTQ4DiT、Q-VDiT；再固定最终质量比较 calibration 成本，绘制真正 Pareto front。
2. 真实设备基准。 在 A100、RTX 4090、Jetson Orin 与移动 NPU 上以相同 16×512×512/100 steps 报告端到端 latency、energy/video、peak memory、kernel occupancy；避免仅用“× saving”隐藏设备依赖。
3. 模块成本拆分。 分别 benchmark pure quant、+feature TQE、+token M、+TMD-trained checkpoint，测 kernel time 和 memory traffic，从而验证 rank-1 旁路是否真近乎免费。
4. 多 seed paired evaluation。 对同一 100–500 prompts、相同 initial noise 做 paired bootstrap；同时报告 95% CI，尤其检验 CLIP-Temp 0.0002 的优势是否稳定。
5. 更大骨干。 在 HunyuanVideo、CogVideoX、Wan 等不同 attention factorization 的模型上，固定 W4A6 与 1.3× latency 预算，对比 Q-VDiT 和 S²Q-VDiT，检查 frame-token scaling 是否随序列长度失效。

5.3 新兴方向

1. 感知关系与物理关系解耦。 TMD 目前匹配教师的 feature similarity；可以并行加入光流、depth、object tracks 的关系图，比较“教师隐空间关系”与“显式物理关系”谁更能保持长视频运动。
2. 在线 bit allocation。 根据当前 denoising step、prompt motion demand 和帧间 KL 动态分配 3/4/6 bits；与静态 mixed precision 在同 latency budget 下 head-to-head。
3. 安全与水印。 对量化前后 safety filter bypass、人物身份漂移和 watermark detectability 做成对评测；确定 TMD 是否会保留教师中的危险生成模式，或被低比特噪声破坏安全控制。
4. 长视频 streaming calibration。 现有 16 帧实验是离线短视频；设计 128–512 帧 streaming benchmark，限制仅保留最近 (k) 帧关系，测 TMD 的 O((t^2)) 关系矩阵如何近似。

6. 其他值得关注的近期工作

以下均为本期候选池中已验证的 ICML 2025 主会工作；不展开，避免把相关工作链稀释成平行摘要。

FlexTok: Resampling Images into 1D Token Sequences of Flexible Length（2025.07，ICML 2025）
把图像压成可变长度 1D token 序列，直接连接 tokenizer rate 与生成预算，适合研究“视觉 token 数是否应该按样本动态分配”。PMLR｜Code

VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models（2025.07，ICML 2025）
显式联合 appearance 与 motion representation，正好构成 Q-VDiT 未来“量化后运动关系保持”的强下游压力测试。PMLR

FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing（2025.07，ICML 2025）
从 rectified flow inversion 降步数，展示生成系统效率不只来自 bit-width，也来自数值积分；值得做等质量延迟对比。PMLR｜Code

Accelerated Diffusion Models via Speculative Sampling（2025.07，ICML 2025）
把 speculative decoding 思路移植到 diffusion sampling，提供与量化正交的推理加速轴；两者是否乘法叠加是直接工程空白。PMLR

Visual Generation Without Guidance（2025.07，ICML 2025）
重新审视 classifier-free guidance 的必要性，为无 guidance 模型上的低比特鲁棒性提供不同分布条件。PMLR

Subobject-level Image Tokenization（2025.07，ICML 2025）
把 token 语义粒度推进到 subobject，提示 TQE 的 token grouping 不必固定为帧，也可以来自可学习的对象层级。PMLR

S²Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation（2025.10 更新，NeurIPS 2025）
Q-VDiT 的直接后续将瓶颈转向 calibration data 与 sparse token learning，并扩展到 HunyuanVideo；它是验证 Q-VDiT 结论能否跨模型规模的首要对照。arXiv｜Code

7. 结论

Q-VDiT 最重要的贡献不是“又把位宽降了一位”，而是证明视频 DiT 的量化目标必须显式保留 token 差异与帧间关系。在 W3A6 这一压力区，scene consistency 相对既有最优近乎翻倍、VQA-Technical 也近翻倍，说明 rank-1 correction 与 relational distillation 确实阻止了基线的质量崩溃。

但证据边界同样明确：Open-Sora multi-aspect 只有 10 prompts、没有多 seed/CI；消融表的位宽标注冲突；自动 VQA 甚至高于 FP16；理论上的低熵也没有推出 rank-1。对研究者最合理的结论是：TQE+TMD 是值得复用的结构化压缩范式，但“几乎无损、可边缘部署”仍需等预算、多设备、人工评价与大模型验证。

证据与复核说明：核心数值来自 ICML/PMLR 正式 PDF 的表 1–7、式 3–19 与附录 B–F；相关工作数字来自各论文原文。所有二次百分比均按公开表格复算，未从图像高度估值。论文未提供的标准差、置信区间、图 6 精确数值、Q-VDiT 量化权重与人工偏好结果均明确标为未报告/未公开。索引 ml-report-index.md 已更新。本机未安装 /usr/bin/chromium，/opt/pw-browsers 也无可执行 Chromium，因此无法诚实声称完成 Playwright 三视角截图；已改做 Warm Editorial validator、语义结构、主题脚本、外链与响应式 CSS 的静态检查。