ScaleSearch：别再让绝对最大值独占 FP4 的 scale

0. 链接验证、版本与资源审计

下表链接均于 2026-09-11 实际访问。会议身份以 MLSys/PMLR 正式 proceedings 为先，arXiv 日期以 submission history 为准；“未公开/未找到”表示在正式论文页、arXiv 的 Code/Data/Media 区、GitHub 题名搜索、Hugging Face Papers、Papers with Code、Semantic Scholar 与项目搜索中没有找到可核实入口。核心数字均来自 MLSys 正式 PDF（16 页），不是网页摘要。

版本不一致警报。 MLSys PDF 作者名写作 Shirley Wu，正式网页和 arXiv 写作 Xiaoxia Wu；arXiv HTML 还残留“Anonymous Authors”“Under review by MLSys”的投稿模板，而正式 PDF 已署名。报告以正式 proceedings 的论文身份为准，但不擅自判断两个英文名是否为同一人的更名，因为作者页没有给出解释。另一个细节是 proceedings 总页称 Proceedings of Machine Learning and Systems 8，PDF 页脚称“9th MLSys Conference”；前者是卷号，后者是会议届次，不构成冲突。

1. 候选池、近 14 天排除与随机选择

先检查 ml-report-index.md：近 14 天已经深读 QServe（W4A8KV4 服务系统）与 Lumos（训练性能建模），因此排除同论文，并避免再次选择“混合精度服务内核”或“训练预测器”这一高度重合主线。候选搜集先用 MLSys 2025 页面建立了 27 篇池，并严格执行 shuf -i 1-27 -n 1 抽中 #23 APOLLO；随后发现 MLSys 2026 正式 proceedings 已上线且包含 135 篇正式论文。继续用 2025-only 池会违背“最近 12 个月正式论文优先”，所以这次抽取作废，不是因为论文不热门或结果不漂亮。

随后以 MLSys 2026 正式论文集为主，辅以 arXiv、OpenReview、Hugging Face Daily Papers、Papers with Code、Semantic Scholar 和 ACL Anthology 题名检索核对身份与资源。系统方向没有必要为了凑来源而塞入 ACL 论文；这些辅助入口对核心题名没有返回额外代码或数据。重建后得到以下 30 篇合格候选，执行 shuf -i 1-30 -n 1 抽中 #24 ScaleSearch。总重抽 1 次，唯一理由是发现了更新正式论文集。

2. Motivation：4-bit 的瓶颈不只在“位数太少”，还在 scale 选错

NVFP4 把连续值表示成“每个元素一个 E2M1 四位浮点数 + 每 16 个元素共享一个 E4M3 八位 scale”。E2M1 只有

ℛ_E2M1 = {0,  ± 0.5,  ± 1,  ± 1.5,  ± 2,  ± 3,  ± 4,  ± 6}.

因此每个原值最终只能落在 sℛ_E2M1 上。标准做法用块内最大绝对值 x_max 定标：s = round_UE4M3(x_max/6)，保证最大值大致映射到 6。这一启发式只照顾一个极值，却没有最小化 16 个值的总体误差。核心论文第 3–4 节（pp.4–5）指出，E4M3 scale 本身有 3 位 mantissa，邻近的多个非二次幂 scale 都能由 Blackwell 硬件直接表示；既然 scale 网格已经存在，就可以在不改变存储格式的前提下为整块寻找更低 MSE 的格点。

硬件诱因很直接。核心论文引言（p.1）援引 Blackwell：NVFP4/MXFP4 矩阵乘在 B200 上相对 FP8 的峰值吞吐为 2×，B300 为 3×。NVIDIA 技术说明表 1 与“Memory”小节进一步说明 NVFP4 是 16 值共享 E4M3 scale，平均约 4.5 bit/value，模型内存约为 FP16 的 1/3.5、FP8 的 1/1.8。但这些是格式与硬件上限，不是 ScaleSearch 自身的端到端收益；ScaleSearch 的问题更窄：在相同 4.5-bit 表示和相同 Tensor Core 指令下，能不能少犯一些舍入错误？

图 3/正文在这里暴露了值得审计的内部矛盾。PDF p.5 图 3 的纵轴清楚显示 MSE 从约 0.0090 降到 0.0066，相对下降 (0.0090−0.0066)/0.0090 = 26.67%，与摘要的 27% 和贡献列表的 26% 基本一致；但 p.6 正文把起点写成 0.0990，并仍称“约 25%”。若照正文两数复算，下降会是 93.33%。因此本报告采用图示 0.0090 作为可信读数，并把 0.0990 判为十倍小数点笔误，而不是把不可能同时成立的三个数字混写成结论。

下游痛点并非均匀。PTQ 表 1（p.9）中，DeepSeek-R1-Distill-Qwen-1.5B 的普通 NVFP4 把 MATH-500 从 64.6 拉到 51.6，损失 13.0 pp；Qwen3-8B 的 GPQA 从 51.3 到 42.4，损失 8.9 pp。相反，Qwen3-8B 的 MATH-500 量化结果 73.1 甚至略高于全精度 72.8，说明 benchmark/采样噪声会和量化误差纠缠。ScaleSearch 最有价值的场景不是所有张量，而是 max-scale 明显失配、低比特误差已穿透到任务表现的块。

3. 论文故事线：从一个局部枚举器到完整 FP4 attention

论文有两条嵌套故事线。

第一条是纯数值算法。作者先从标准 scale 的 E4M3 位模式出发，把它重新解释成 int8，枚举偏移 f，对每个候选 scale 重量化 16 个值并计算 MSE，选最小者。完整枚举 [−127,127] 可找全局最优表示，但代价过高；图 4 显示高斯数据与 Llama 3.1 8B 的真实 Key 状态都呈双峰 offset，集中在 0 附近与 4–5 附近，于是作者固定搜索 [−2,6] 共 9 个候选。第二峰有清楚的离散几何解释：默认 scale 让最大值编码成 6；scale 放大约 6/4 = 1.5 后，最大值编码成 4，却可能让其余 15 个值更贴近网格（pp.5–7）。

第二条是系统组合。作者把搜索器用于三处：ModelOpt 的权重 PTQ、SageAttention3 的视频 diffusion attention、以及自建的 ScaleSearchAttention（SSA）。SSA 不只加 scale 搜索，还同时加入：Q/K 的 Hadamard incoherence processing、一个通过 SVD 得到的幅值平衡变换、对首块与最近块保留高精度的 sink-aware KV cache，以及 QKᵀ、softmax 概率 P、V、PV 全链 NVFP4 Tensor Core 路径。因此表 3/4 中 SSA 的结果不能全归因于 ScaleSearch；表 5 的逐组件消融才是归因依据。

核心假设可写成三个层级：

1. 局部代理假设：逐块 MSE 越小，模型功能越好。它通常合理，却没有保证，因为 attention 与 residual 路径对不同方向的误差敏感性不同。
2. 分布迁移假设：高斯块与真实 Key 状态有相似的 offset 双峰，所以固定 [−2,6] 能迁移到权重、Q/K/V/P、LLM 与视频 diffusion。论文只展示一类真实 Key tensor 的直方图（图 4，p.5），没有逐模型逐层验证覆盖率。
3. 系统摊销假设：scale 搜索可以融合或在离线 PTQ 中摊销，因此 1.74× 的量化局部开销不会破坏端到端吞吐。视频 latency 支持“约 2%–3% 额外时间”，但语言模型只给 attention kernel TOPS 曲线，没有 TTFT、TPOT、吞吐/延迟 SLO。

这三层恰好对应论文真正的权衡：更小 MSE换来更多候选；更稳 attention 换来首尾高精度缓存与离线矩阵变换；更强硬件效率则换来 Blackwell-only 的部署约束。

4. 方程级形式化与流程

4.1 NVFP4 表示与标准量化

对 x ∈ ℝ¹⁶，NVFP4 可表示集合为

𝒱_NVFP4 = {sq ∣ q ∈ ℛ_E2M1¹⁶, s ∈ ℛ_UE4M3}.

一个 N × D 张量被表示为 (Q,S)，其中 Q ∈ ℛ_E2M1^N × D、S ∈ ℛ_UE4M3^{N × (D/16)}；解码为

X̂ = decode(Q) ⊙ Broadcast(S).

以上来自核心第 3 节（p.4）。4-bit value 加每 16 值一个 8-bit scale，平均存储 4 + 8/16 = 4.5 bits/value，不含每 tensor 的 FP32 global scale。

4.2 邻近可表示 scale 的离散优化

令标准 scale 为 s⁽⁰⁾。把其 UE4M3 位模式视作整数并加偏移：

s^(f) = reinterpret(reinterpret(s⁽⁰⁾,int8)+f,UE4M3).

ScaleSearch 求解

$$f^*=\arg\min_{f\in[f_{\min},f_{\max}]}\sum_{i=1}^{16}\left(x_i-s^{(f)}\,\mathrm{round}_{E2M1}(x_i/s^{(f)})\right)^2.$$

在论文默认 [−2,6] 下，每块只评估 9 个相邻 scale。若块长为 B = 16、候选数为 K = 9，朴素搜索复杂度为 O(KB)，存储格式不变；额外成本发生在量化而不是矩阵乘。算法 1（p.5）还检查 1 ≤ scale_int8 + f ≤ 127，避免越出正 UE4M3 scale 范围。

输入：16 值块 x，偏移范围 [-2, 6]
1  xmax = max |x_i|；s0 = round_UE4M3(xmax / 6)
2  best_loss = +∞
3  对 f = -2 ... 6：
4      sf = s0 的 E4M3 位模式加 f
5      qf = round_E2M1(x / sf)
6      loss = Σ_i (x_i - sf*qf_i)^2
7      若 loss 更小，保存 sf、qf、f
8  返回最优 block scale 与 16 个 FP4 值

4.3 保持 attention score 的幅值平衡变换

SSA 先用 Hadamard 变换削弱 outlier，再引入可逆 R：

Q′ = QR^−T,   K′ = KR,

于是

Q′K′^T = QR^−TR^TK^T = QK^T.

附录 A（p.16）令 X = 𝔼[Q^TQ]、Y = 𝔼[K^TK]，最小化

min_Rtr(R⁻¹XR^−T) ⋅ tr(R^TYR).

若 X^1/2Y^1/2 = USV^T，论文给出 R = Y^−1/2VS^1/2，使两个 trace 都等于 tr(S)，最小乘积为 tr(S)²。这个推导保证 score 不变并平衡二阶能量，但“二阶能量更小所以量化误差更小”仍是代理关系；附录没有对离散 E2M1 rounding 的最终任务误差给界。

4.4 混合精度 KV 与 FP4 kernel 路径

论文图 8（p.8）把 QKᵀ 和 PV 都拆成高/低精度子块。首块和最近一个不完整块保留全精度，中间完成块量化为 NVFP4；新 token 让最近块凑满 B 后再压入 4.5-bit KV cache。高精度缓存只占 O(B)，不随上下文增长；但 B ≥ 16，因为 V 沿 token 维以 16 为 NVFP4 group。Q/K/V/P 都先 per-row scaling，再 ScaleSearch；NVFP4 MMA 用 FP32 accumulator，所以作者声称矩阵乘路径没有显式 dequantization。

5. 关键机制与工程细节

论文没有报告 GPU 型号于核心 §5.3 的文字表格中；图 9 也没有在 caption 明写设备。由于被对比 SA3 针对 Blackwell，不能擅自把该结果标成 B200、B300 或 RTX 5090。SageAttention3 自身论文是在 RTX 5090 上报 1038 TOPS（其 p.1、p.7），不等于 ScaleSearch 的实验也使用同一块卡。

6. 数据集、基准与指标

论文声称“五个 general capability benchmarks”，但表 1 实际只有 四列：GPQA、MATH-500、AIME-120、MMLU（§5.1，p.9）。这不是本报告漏抄，而是正文计数与表格不一致。AIME-120 也没有清楚说明它如何由 AIME 年份/题目构成，影响可复现性。

7. 完整主结果矩阵与逐项复算

7.1 权重 PTQ：表 1 全量转录

下表来自核心表 1（p.9）。括号是论文报告的 5-run 离散度，但 caption 没有说是标准差还是标准误；MMLU 只跑一次，没有括号。每个模型内粗体为最好。

ScaleSearch 相对普通 NVFP4 的复算如下。绝对变化以 percentage point（pp）表示，relative 是 (ScaleSearch-NVFP4)/NVFP4：

所以“across all benchmarks”的严格说法不成立：8 个模型×指标单元格中 7/8 上升，Qwen3-8B AIME-120 下降 0.7 pp。作者说它在一个标准差内是合理的定性解释，但没有配对检验、置信区间或原始 5 次结果，不能把“未显著差”改写成“等价”。更反常的是 8B MATH-500 从全精度 72.8 到 ScaleSearch 88.1，高 15.3 pp；这很可能包含 decoding 或评测随机性，却没有配置可核验。

7.2 视频 diffusion：表 2 全量转录

来自核心表 2（p.10）。相对 SA3，Mochi 的 VQA-a/t/FScore 分别 +7.789 pp（+15.69%）、+14.624 pp（+26.24%）、+0.269（+14.35%）；CogVideoX 分别 +2.838 pp（+3.89%）、+0.961 pp（+1.28%）、+0.284（+5.55%）。但 CLIPSIM 在两个模型上分别 −0.0003（−0.16%）、−0.0012（−0.65%），所以论文“matching”更接近“几乎不变”，不是逐项不降。没有标准差时，0.0001 级 CLIP-T 差异更不应解释为胜负。

7.3 WikiText-2 PPL：六种精度路径

来自核心表 3（p.10）。SSA 相对 Naive-FP4 的 PPL 降幅依次为 0.5011（8.35%）、0.7652（22.51%）、0.3170（2.75%）、0.1411（1.67%）。其中 Llama 70B 的“最多约 22%”成立；不过 SSA 仍比 full precision 高 0.0794（+3.11%）。Qwen3-8B 只差 0.0005（+0.006%），最接近“near-zero loss”。四个模型的相对收益跨度 1.67%–22.51%，显示方法并非规模越大必然越有利：同为 8B，Llama 与 Qwen 差异明显。

论文无法提供用户期望的统一“五基准×六方法”矩阵：PTQ 只有三方法×四列，PPL 才有六方法×四模型，视频是三方法×五指标。把它们拼成同一表会混合 accuracy、PPL 与视频分数，产生伪比较，因此本报告完整保留原表而不补造第五个 benchmark。

7.4 GPQA Diamond 与系统代价

核心表 4（p.10）在 Llama 3.1 8B Instruct 上报告 Full Prec 31.81、SA3 26.26、SSA 32.32。SSA 相对 SA3 是 +6.06 pp（+23.08%），不是引言笼统写的“+5 points”；它也高于 full precision 0.51 pp，但无方差不能宣称真正超越。

核心表 6–7（p.11）给出成本：

较窄 [-1,1] 搜索为 0.0328 ms，即 1.27×。论文没有报告该范围的 MSE、PPL 或任务准确率，因此无法做“每增加 0.01 ms 换多少质量”的 Pareto 曲线。把 1.74× 称为 minimal overhead 只有在离线 PTQ或端到端被大矩阵乘摊薄时成立；若是逐 token 动态量化，必须看 kernel 融合和 batch/sequence 分布。

8. 逐层消融、敏感性与相变

核心表 5（p.10）只在 Llama 3.1 8B 的 PPL 上消融 SSA：

这张表改变了论文故事的重心：ScaleSearch 是漂亮、通用、格式不变的局部改进，但“几乎无损 FP4 attention”主要依赖高精度首尾 KV 和变换。 论文没有“只加 mixed precision”“只加 IP”“去幅值变换但保留 Hadamard”的完整 factorial ablation，因此也不知道三者是否存在交互。

敏感性证据有两条但都只画图、不给原始表。图 3（p.5）显示候选 scale 数增加时 MSE 快速下降，约到 10 个候选后进入平台；默认 9 候选恰在拐点附近。图 7（p.6）显示 block size 从 1、2、4、8、16 到 32 增大时，有/无 ScaleSearch 的 MSE 差距持续缩小；这解释了为何 16 值 NVFP4 比 32 值 MXFP4 更适合搜索。图 5（pp.6–7）报告 NVFP4 约 27%、MXFP6 E2M3 约 11%、MXFP4 约 8% 的 MSE 减少，并称某些假想格式可达约 80%。这些是格式层面的“相变”：scale mantissa 越细、block 越小，邻近 scale 搜索越有价值。

论文未报告：逐层/逐头敏感性；[-1,1] 与 [-2,6] 的质量对比；B=16 之外的真实模型结果；校准集大小；幅值变换的正则化；首尾高精度块数；不同 batch/sequence 的端到端延迟分位数。因而可以推出默认点在合成 MSE 曲线的拐点附近，不能推出它对所有模型是全局最优系统配置。

9. 统计显著性与证据等级

只有 PTQ 表 1 明确说除 MMLU 外平均 5 runs，但括号统计量没有定义。作者用“一标准差内”解释 8B AIME 的 −0.7 pp，暗示括号是标准差，却没有在 caption 正式说明。没有 paired seeds、t-test、bootstrap CI 或多重比较校正。MMLU 单次；视频表 2、PPL 表 3、GPQA 表 4、消融表 5、kernel 表 6 和 latency 表 7 均无标准差。

因此证据可分三级：

• 较强：同一格式的合成 MSE 与明确离散优化目标；算法上候选集包含默认 scale，所以逐块训练样本 MSE 不会比默认更高。
• 中等：8 个 PTQ 单元格 7 个改善、四模型 PPL 全改善；方向一致但随机性描述不足。
• 较弱：12 prompts 的视频质量/latency、单一 GPQA 设置、98.3%/97.5% 的单曲线点，以及“近乎无损”泛化到生产 serving 的主张。

特别要区分“候选集单调性”和“模型质量单调性”：ScaleSearch 在同一块上选到的 MSE 不会高于 f = 0，但任务 accuracy 可以下降，Qwen3-8B AIME 已给出反例。局部 L2 误差最小不保证离散解题输出单调改进。

10. 真正贡献、可复用设计与迁移潜力

第一项真正贡献是把 BFP scale calibration 写成可硬件实现的邻域离散优化，而不是训练新量化器。它不改 checkpoint 的 4.5-bit 布局、不新增推理时 codebook，也把默认 scale 纳入候选，容易嵌入现有 PTQ。对于拥有 mantissa scale 的任何 microscaling format，这个思路都可复用：先用格式位模式定义邻域，再根据真实张量的 offset 直方图缩小搜索。

第二项贡献是揭示“最大值映射到最大码字”并不总是最优。offset 4–5 对应把最大值从 6 改用 4 表示，牺牲单个极值的码字利用，换取全块其余值的网格贴合。这个设计可迁移到非均匀码本、per-group INT quantization 和 KV cache：候选不一定是邻近 scale，也可以是邻近 zero-point、clip ratio 或少量 codebook temperature。

第三项贡献是系统拼装 SSA：FP4 QKᵀ/PV、4.5-bit KV、FP32 accumulate、高精度首尾块与幅值平衡共同形成可运行路径。可复用经验是“量化 kernel 的理论峰值必须由异常值变换、敏感 token 保护和缓存布局共同兑现”。这条经验比任何单一 PPL 数更重要。

迁移时要把目标函数改成任务敏感的误差。权重 PTQ 可用 Hessian-weighted block loss，attention 可分别对 QKᵀ 与 PV 的输出误差做搜索，生成模型则可对噪声阶段或层做不同范围。代价是在线搜索复杂度上升；可行折中是从离线统计学习每层 offset prior，再只评估 2–3 个高概率候选。

11. 技术来源链：问题如何传递、又在哪里转折

11.1 NVFP4：给 ScaleSearch 留出可搜索的 scale 网格

解决什么。 NVIDIA 的 NVFP4 技术说明把 E2M1 值、16-value microblock、E4M3 scale 和 per-tensor FP32 scale组合起来，目标是在 Blackwell 上兼顾 4-bit compute 与精度；其表 1 明确对比 MXFP4 的 32-value、power-of-two scale。
遗留缺口。 格式允许 E4M3 的细粒度 scale，却仍沿用 amax/6 的单点启发式，没有利用邻近 mantissa 格点。
核心如何回应。 ScaleSearch 把“已有但闲置的 scale 分辨率”变成候选空间，不改变格式。
设计如何传递。 16-value 小块与 E4M3 非二次幂步进直接决定 offset 搜索有效；换成 MXFP4 的 E8M0，图 6 显示几乎只选 offset 0/1，收益缩小。

11.2 QuIP#：从降低权重 incoherence 到降低 Q/K outlier

解决什么。 QuIP# 用 randomized Hadamard transform 改善 incoherence，再用 E8 lattice codebook 与 fine-tuning 做 ≤4-bit 权重 PTQ；正式 ICML 论文图 2/算法 1（pp.2–3）给出这条管线，表 5–6（pp.10–11）还展示量化权重的生成吞吐。
遗留缺口。 它主要量化权重；Hadamard 变换本身没有选择 NVFP4 block scale，也没有处理 causal KV/P。
核心如何回应。 SSA 继承 Hadamard IP 到 Q/K，再加 scale 搜索和保持 QKᵀ 的 R 变换。
设计如何传递。 “先让分布更均匀，再做低比特离散化”是核心传递；但表 5 说明 IP+幅值变换对 SSA 的 PPL贡献约为 scale 搜索的 6.5 倍，必须给前作足够归因。

11.3 StreamingLLM：从保留 attention sink 到高精度首尾 KV

解决什么。 StreamingLLM 发现只保留最近窗口会在越过 cache size 后 PPL 暴涨，而保留 4 个初始 token 可恢复稳定；论文图 3、表 1–2（pp.4–5）和图 10（p.11）报告可扩到 4M tokens、相对重计算最高 22.2×。
遗留缺口。 它解决 token eviction/streaming，不解决中间 KV 的数值精度，也没有 NVFP4 Tensor Core 路径。
核心如何回应。 SSA 不丢中间 token，而是把首块与最近块保留高精度，中间块压成 NVFP4。
设计如何传递。 “初始 token 是结构敏感区域”被转译为 mixed-precision policy；但 SSA 没报告究竟保留多少 token、不同模型 sink 宽度或长上下文 needle/reasoning 结果。

11.4 SageAttention3：从第一条 FP4 attention 内核到更稳的 scale 与 causal cache

解决什么。 SageAttention3 对 QKᵀ/PV 用 1×16 microscaling FP4，并对 P 设计两级量化；其 p.6 表 1 报 NVFP4 CosSim 99.52%，p.1 报 RTX5090 1038 TOPS、约为其最快 FlashAttention 的 5×。
遗留缺口。 核心论文称 SA3 公布算法在 causal setting 数值不稳定（ScaleSearch §5.2，p.9），且 SA3 不是完整 4.5-bit causal KV cache 方案。
核心如何回应。 在 SA3 上直接加 ScaleSearch用于视频；对语言则重组为 SSA，加入 IP、幅值平衡与高精度首尾缓存。
设计如何传递。 SA3 的 1×16 block、P 的 FP4 路径与硬件优化构成系统底座；ScaleSearch 的视频结果是“SA3 + 一个更好 scale chooser”，SSA 结果则是多个组件的新组合。

11.5 非线性技术演进树

                         ┌─ QuIP / QuIP#：Hadamard incoherence ─┐
传统 BFP：共享 exponent ─┤                                      ├─→ Q/K 分布整形
                         └─ MX：32值 + power-of-two scale ───────┐
                                                                ├─→ NVFP4：16值 + E4M3 scale
NVIDIA Blackwell Tensor Core ────────────────────────────────────┘             │
                                                                              ├─→ ScaleSearch：邻近 scale 离散 MSE 搜索
FlashAttention：online softmax / IO-aware ─→ SageAttention3：FP4 QKᵀ + PV ───┤
                                                                              │
StreamingLLM：初始 token 是 sink ─→ 高精度首尾块 ──────────────────────────────┤
                                                                              ↓
                SVD 幅值平衡 + ScaleSearch + FP4 MMA + 4.5-bit KV = SSA
                                      │
                                      ├─ 精度主要由 mixed-precision KV 保住
                                      └─ scale search 提供小而稳定的局部修补

演进动力先是硬件格式变化：scale 从 exponent-only 变成带 mantissa，算法搜索才有细网格；再是瓶颈迁移：FP4 matmul 变快后，quantization、softmax 与 KV布局成为系统瓶颈；最后是误差位置变化：权重 PTQ 的静态误差转到 causal attention 的动态 Q/K/P/V，必须混合精度与分布变换。转折点不是“又少一位”，而是格式允许把 scale 选择当成优化变量。

11.6 跨论文对标

12. 论文自述限制与边界条件

论文没有独立 Limitations 或 Broader Impact 小节，不能虚构“作者自述的 2–3 点”。能从正文明确提取的边界条件有三项：

1. 格式边界。 作者说主要实现 NVFP4，因为它是其所知唯一“scale 为 floating point 且有现代硬件加速”的格式（§4，p.5）；对其他格式只有图 5 仿真。因此“architecture-agnostic”指算法定义，不代表已有跨硬件 kernel。
2. causal 基线边界。 作者明确说公开 SA3 code 在 causal setting 数值不稳定，因此表 3 使用其 FP4 simulator 实现 SA3 算法（§5.2，p.9）。所以语言质量是模拟数值路径，不是两个公开 kernel 的端到端实机对照。
3. 混合精度边界。 mixed-precision cache 要求 B ≥ 16，并永久保留 O(B) 的全精度首尾区域（§4.2，p.8）。因此“全 FP4 attention/KV”并不字面成立，更准确是“多数块 FP4、敏感块全精度”。

作者没有讨论代码缺失、12-prompt 小样本、统计显著性或主文数字冲突；这些属于独立审计，不应伪装为论文自述。

13. 独立批判：证据到推论的八条链

1. [归因] 因为表 5 去掉 ScaleSearch 只使 PPL 5.4977→5.5024（+0.086%），而去 mixed-precision KV 使其到 5.5768（+1.439%），所以“SSA 近乎无损”主要不能归功于核心命名组件；应把贡献拆成局部 scale 优化与组合式 attention 系统两层。
2. [内部一致性] 因为 p.6 正文写 0.0990→0.0066 ≈25%，而图 3 实为约 0.0090→0.0066 =26.67%，所以至少存在一个十倍小数点错误；摘要 27% 可被图支持，但正文数字不能直接引用。
3. [统计] 因为只有 PTQ 报 5 runs、括号未定义，其他主表均无方差，且 8B MATH 的量化模型反超全精度 15.3 pp，所以评测随机性足以改变若干结论；没有原始 seeds 与统一 decoding 时不能声称任务表现单调跟随 MSE。
4. [基线公平] 因为语言 PPL 的 SA3 是作者自行模拟，理由是公开 causal code 不稳定，而 SSA 又包含额外高精度缓存和 SVD 变换，所以表 3不是“同一实机内核只换 scale”的 head-to-head；它证明数值配方优于模拟基线，不证明生产 kernel 更优。
5. [系统外推] 因为 98.3%/97.5% 只来自 32K attention TOPS，语言模型没有 TTFT、TPOT、batch sweep、并发请求或 P99，而视频仅 12 prompts，所以“negligible system overhead”只对被测 kernel/生成脚本成立，不能外推到在线服务 SLO。
6. [分布覆盖] 因为 [-2,6] 由标准高斯与一个 Llama 3.1 8B Key-state 直方图决定，却用于权重、Q/K/V/P、四个 LLM 和两个视频模型，所以固定搜索范围的普适性证据不足；若 P 或 V 的 offset 超出该双峰，9 候选可能不是最佳预算。
7. [可复现性] 因为核心代码、ModelOpt 补丁、PyTorch simulator、GPU型号、校准样本与完整超参均未公开，所以读者无法验证 0.0449 ms、表 3或图 9；公开的 SageAttention/ModelOpt 只能复现来源组件，不能复现论文方法。
8. [目标错配] 因为算法逐块最小化未加权 MSE，而 AIME 已出现 −0.7 pp、CLIPSIM 两模型均下降，所以局部欧氏误差不是任务风险的充分统计量；下一步应比较 Hessian/attention-output 加权搜索，而不是继续扩大同一个 MSE 候选集。

14. 开放挑战：可操作的 head-to-head 实验空白

14.1 理论

• MSE vs. 功能误差。 固定同一 NVFP4 checkpoint、同一 9 候选，比较 block-MSE、Hessian-weighted MSE、∥QK^T − Q̂K̂^T∥_F² 与 ∥PV − P̂V̂∥_F² 四种 chooser；在同一 seeds 上测 WikiText-2、LongBench、GPQA 与 AIME。若任务收益与加权目标更相关，便能验证第 8 条批判。
• 搜索范围最优性。 对每层/头记录全 [-127,127] oracle offset，再 head-to-head 比 [-1,1]、[-2,6]、top-3 learned prior 和自适应 early-stop；同时画“oracle coverage—量化时间—PPL”。当前论文只给开销，不给质量曲线。
• 误差传播界。 在同一 attention block 比较只量 Q、K、V、P 与全部量化，估计局部 MSE 到输出误差/softmax KL 的 Lipschitz 上界；特别分开 sink-heavy 与均匀 attention heads，检验“更低 block MSE必然更稳”的条件。

14.2 工程与应用

• 真实 Blackwell 端到端。 在 B200/B300/RTX5090 上用公开 commit 比较 BF16 FlashAttention-4、SA3、SA3+ScaleSearch、SSA；控制 batch、prompt/output length，报告 TTFT、TPOT、tokens/s、P50/P99、HBM、功耗。当前只有 TOPS 与两个视频脚本时间。
• 等内存 KV 对比。 以每 token 相同平均 bits，在 Llama 3.1/Qwen3 上比较 SSA、KIVI、KVQuant、Kitty 与 FP8；测 4K–128K 的 needle、LongBench、reasoning 和 PPL。SSA 的 4.5-bit 中间块加高精度首尾块，不能直接与名义 4-bit/2-bit 比。
• 离线 vs. 在线量化。 分别测权重一次性 PTQ、prefill K/V 写入、decode 单 token 写入的 search cost，并与 LUT/learned offset 选择对比。0.0449 ms 的 2048² 高斯矩阵不能回答小 batch decode 的 launch/branch 代价。

14.3 新兴方向

• 跨格式搜索。 在同一 Blackwell/AMD 平台比较 NVFP4 E4M3、MXFP4 E8M0、MXFP6 E2M3与 FP8，控制总 bits 与峰值硬件；用相同 oracle/邻域 search 判断收益究竟来自 mantissa scale 还是小 block。图 5只是软件仿真。
• 生成阶段自适应。 视频 diffusion 按噪声 timestep、LLM 按 prefill/decode 和 token uncertainty 动态选择 search range/精度；与固定 [-2,6] 做等平均量化 FLOPs 对比，测质量—延迟 Pareto。Ambient/阶段化精度思路可能比全程固定搜索更合适。
• 学习型 chooser 的安全边界。 用小型分类器预测 offset，但保留 f = 0 与局部 MSE verifier；和 9-way exhaustive search 比错误率、fallback率、P99。目标是减少 1.74× cost，同时不破坏“候选含默认值”的非劣保证。

15. 近期工作雷达

以下均为已访问的 MLSys 2026 正式论文页，不作为核心论文数字来源。

1. FlashInfer-Bench：把 agent 生成 kernel、真实 trace、正确性/性能评测与部署替换接成闭环。它恰好提供 ScaleSearch 缺少的公开 kernel benchmark/reproducibility 外壳。
2. FlashAttention-4：面向 Blackwell 的异步 MMA、softmax rescaling 与 TMA pipeline，B200 BF16 最高 1613 TFLOPs/s。它是 SSA 必须在同设备上补做的强全精度基线。
3. Kitty：用动态 channel-wise precision boost 做接近 2-bit 的 KV，报告七任务与 2.1×–4.1× 吞吐。它与 SSA 的“token块混合精度”形成直接对标空白。
4. MixLLM：在 output-feature 维做全局 mixed precision，并以两步 dequantization/kernel pipeline 兑现系统效率；说明 scale 搜索之外，bit allocation 仍是更大的优化轴。
5. SkipKV：针对长 CoT 按句子同时抑制冗余生成与 KV 存储，最高 1.7× 吞吐。它提醒我们：减少 token 数可能比每 token 再省几 bit 更有效，二者应等质量/等答案长度比较。
6. Demystifying the MoE Serving Tax：发现 FLOP 等价 MoE 可比 dense 慢 2–3×，且 load imbalance 对 prefill/decode 影响相反。它代表系统评测应从单 kernel 转向工作负载阶段分解。
7. MoEBlaze：从 token dispatch、buffer materialization 与 checkpoint co-design 击穿 MoE memory wall，并称已用于 Meta 推荐生产。与 ScaleSearch 相比，它的价值在于给出真实部署语境，但仍需看完整论文的负载与基线公平性。

16. 结论：值得复用的是“搜索 scale”，不该过度归因的是“近乎无损 attention”

ScaleSearch 的核心洞见足够简洁：既然 NVFP4 的 E4M3 scale 比 E8M0 更细，就不要默认 amax/6 是唯一答案；用 9 个邻近可表示 scale 对 16 值块做 MSE 选择，格式不变、默认候选仍在、离线 PTQ 容易接入。其最有说服力的量化证据是 PTQ 7/8 单元格优于普通 NVFP4，Qwen3-8B MATH-500 +15.0 pp，以及图 3 约 26.67% 的合成 MSE 降幅。

但“ScaleSearchAttention 近乎无损”是组合系统结果：Llama 70B PPL 3.4000→2.6348 很亮眼，消融却显示去掉 ScaleSearch 只恶化 0.0047，而去高精度首尾 KV 恶化 0.0791。加上核心实现未公开、causal SA3 采用模拟、语言端缺少真实 serving latency，以及论文自身 0.0990 小数点与“五个 benchmark”计数错误，当前最稳妥的结论是：scale 邻域搜索是一块值得移植的低风险组件；SSA 是有希望但尚未由可复现实机证据闭环的系统原型。

证据与制作说明

• 核心论文逐页阅读正式 MLSys PDF pp.1–16；所有主结果来自表 1–7、图 3–9、算法 1 与附录 A，并在相应段落标注。
• 相关工作逐页阅读 SageAttention3（重点 pp.1–8）、QuIP#（重点 pp.1–11）与 StreamingLLM（重点 pp.1–12）；NVFP4 读取 NVIDIA 技术说明全文。
• 相对百分比与 pp 变化均为本报告根据论文表格复算，保留到两位小数；没有把图中无法精确读取的点补成表格。
• 统计量缺失、代码/数据未公开、硬件型号未说明处均明确标注；未用网页摘要替代论文数字。
• HTML 已通过 Warm Editorial 结构验证器（0 warnings），并按响应式 CSS 静态检查浅色、深色、640 px 移动端与打印规则。当前执行环境没有 /usr/bin/chromium、chromium-browser 或 /opt/pw-browsers 可执行文件，虽有 Playwright 模块却无法启动浏览器，因此没有虚报截图式视觉 QA；表格均置于可横向滚动容器，SVG 使用自适应 viewBox，主题色与文字色均来自双主题变量。
• ml-report-index.md 已追加本期条目。