Ada‑KV：把 KV 预算从平均主义改成逐头竞价

日期： 2026-09-18
轮转领域： 效率与系统（长上下文推理 / KV cache 压缩）
核心论文： Yuan Feng, Junlin Lv, Yukun Cao, Xike Xie, S. Kevin Zhou. Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference. NeurIPS 2025.
一句话核心定位： Ada-KV 不重新发明“删哪些 token”，而是先把一个 layer 的总 KV 预算在 attention heads 之间重新分配：让注意力尖锐的头少拿、分散的头多拿，再把 SnapKV/Pyramid 的逐头 Top-k 原样接上。

审计结论先行。 这是一篇“很小、很可复用”的系统算法论文：在 Llama-3.1-8B、LongBench、question-agnostic、每头平均预算 512 时，Ada-SnapKV 的 16 任务平均分从 SnapKV 的 31.20 提到 32.82，即 +1.62 pp / +5.19% 相对提升，且 16 个数据集里 14 个上升；但它不是“无损压缩定理”，因为理论只最小化一个使用全局常数的 $L_1$ 上界，正文也承认更低上界不保证更低真实 eviction loss。更关键的是，论文的 safeguard 公式、附录文字和公开 README 默认值存在方向/数值不一致，部署前必须先澄清。

0. 链接验证表

以下链接均在 2026-09-18 实际访问。OpenReview 页面可确认 NeurIPS 2025 归属；数字以 arXiv v5 PDF/HTML 为准。未找到并不等于作者从未发布，而是本次核验未发现可验证入口。

1. 候选池、排重与随机选择

索引排除了最近 14 天已覆盖的系统方向，尤其是 2026-09-04 的 Lumos（训练性能建模）与 2026-09-11 的 ScaleSearch（NVFP4 scale 搜索）；更早的 QServe、DuoAttention虽已出现，但不在 14 天硬排重窗口内，本轮仍避免再次把它们设为核心。检索入口覆盖 arXiv、OpenReview、NeurIPS/ICLR/MLSys/ACL 等官方 proceedings、Hugging Face Daily Papers、Papers with Code 与 Semantic Scholar；其中 Papers with Code 与 Semantic Scholar 对核心题名未返回稳定可用的直达记录，所以不把其聚合页当证据源。

抽样前冻结的 24 篇候选如下：

1. VeriCache: Turning Lossy KV Cache into Lossless LLM Inference（arXiv 2026）
2. Lynx: Progressive Speculative Quantization for Accelerating KV Transfer in Long-Context Inference（arXiv 2026）
3. SmartGen: Efficient LLM Serving via Selective KV Cache Transfer（arXiv 2026）
4. Pallas: Proactive KV Cache Migration for AI-RAN（arXiv 2026）
5. SwiftCache: Efficient LLM Serving for Multi-turn Conversations with Heterogeneous KV Cache Sharing（arXiv 2026）
6. Joint Encoding of KV-Cache Blocks for Scalable LLM Serving（arXiv 2026）
7. Robust KV Cache Management for LLM Serving under Output Token Length Uncertainty（arXiv 2026）
8. Kara: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression（arXiv 2026）
9. KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache（arXiv 2025）
10. LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference（arXiv 2025）
11. Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization（arXiv 2025）
12. Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference（NeurIPS 2025）
13. R-KV: Redundancy-aware KV Cache Compression for Reasoning Models（NeurIPS 2025）
14. FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving（MLSys 2025）
15. NanoFlow: Towards Optimal Large Language Model Serving Throughput（OSDI 2025）
16. LoongServe: Efficiently Serving Long-context LLMs with Elastic Sequence Parallelism（SOSP 2025）
17. CacheBlend: Fast LLM Serving for RAG with Cached Knowledge Fusion（EuroSys 2025）
18. BlendServe: Optimizing Offline Inference with Resource-aware Batching（MLSys 2025）
19. ShadowKV: KV Cache in Shadows for High-Throughput Long-Context Inference（ICML 2025）
20. MiniKV: Pushing the Limits of 2-Bit KV Cache via Compression and System Co-design（ICLR 2025）
21. KIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache（ICML 2024）
22. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving（FAST 2025）
23. CacheGen: KV Cache Compression and Streaming for Fast LLM Serving（SIGCOMM 2024）
24. vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention（ASPLOS 2025）

随后执行原生命令 shuf -i 1-24 -n 1，输出 12。Ada-KV 的正式版本为 NeurIPS 2025，资料完整且不超过 24 个月，因此 重抽次数为 0。

2. Motivation：真正浪费的可能不是 token，而是“平均分预算”

长上下文推理的 KV cache 随序列长度线性增长。论文用一个直观但极端的例子建立问题规模：8B 模型处理单条 2M-token 序列时 KV cache 可达 256 GB（正文 p.2，第 61 行附近）。这个数字不能直接外推到所有 GQA/量化实现，但说明单卡 HBM 很快成为上限。现有 eviction 方法把每个 head 的预算设为 $B/h$，再在每个 head 内保留注意力权重最高的 token；问题是 attention concentration 并不均匀。

Figure 1 的 toy/example 显示：把同一 layer 的预算从 uniform 改成跨 head 竞争后，聚合保留注意力质量从 2.26 提到 2.48，绝对 +0.22、相对 +9.73%（正文 p.2，Figure 1）。直觉是：一个 head 的 top 5% 已覆盖几乎全部 attention mass，再给它 token 是浪费；另一个分散 head 可能需要更大比例。Ada-KV 的切入点因此不是预测未来 query，也不是训练新压缩器，而是把已有 score 的预算分配层补齐。

这个动机有两个隐藏前提。第一，观察窗口中估计出的 head concentration 对未来生成足够稳定；第二，保留 attention mass 是 output fidelity 的合适代理。前者由 SnapKV 的 observation-window 假设继承，后者通过一个上界而非等价关系支持。因此，论文故事线更准确地写成：在既有 Top-k 选择器成立时，head-wise global Top-B 是比 head-wise local Top-k 更合理的预算器，而不是“从理论上解决 KV 压缩”。

3. 方法：从局部 Top-k 到一层内的全局 Top-B

3.1 形式化

对第 $i$ 个 attention head，当前 query 的输出为

$$y=\sum_{i=1}^{h} A_iV_iW_i^O,\qquad A_i=\operatorname{softmax}(q_iK_i^\top).$$

保留掩码 $\mathcal I_i\in\{0,1\}^{n}$ 后，将被删位置置为 $-\infty$ 再 softmax，得到 $\hat A_i$ 与 $\hat y$。论文定义真实 eviction loss 为

$$\mathcal L_{\mathrm{evict}}=\lVert y-\hat y\rVert_1.$$

令 $C=\max_i\lVert V_iW_i^O\rVert_\infty$，论文 Theorem 3.1 推导

$$\mathcal L_{\mathrm{evict}}\le \epsilon =2hC-2C\sum_{i=1}^{h}\sum_{j=1}^{n}\mathcal I_i^jA_i^j.$$

给定每头预算 $B_i$，最小化该上界等价于每头保留 top-$B_i$ attention weight；但若只约束总预算 $\sum_iB_i=B$，则最优分配是把一层所有 heads 的权重拼起来，取全局 top-$B$，每个 head 被选中的个数就是 $B_i^*$。Theorem 3.3 证明它在这个上界下不劣于任意分配，包括 uniform $B/h$（正文 pp.3–4，Eq. 7–8；完整推导 Appendix A.8–A.10）。

这里要严格区分三个“最优”：它对 观察到的 attention weights、在 单层、针对 这个上界 是全局最优；它不是对未来 token、跨层总内存、真实端到端任务分数的全局最优。

3.2 算法流程

输入：一层总预算 B，观察窗口 Xwin，历史 K/V，heads=1..h
1. 对每个 head 计算 observation-window 到历史 cache 的注意力分数；
2. max-pool(kernel=7) 后在窗口维求平均，得到每个历史 token 的 score；
3. 从 B 中先扣除 winsize × h（窗口 token 全保留）；
4. 拼接所有 heads 的 score，在整层上取 global Top-B；
5. 统计每个 head 入选数量 fi，令自适应预算 Bi*=fi；
6. safeguard：Bi ← α·Bi* + (1−α)·(B/h)；论文实验 α=0.2；
7. 在每个 head 内按 Bi 再执行 SnapKV/Pyramid 的 Top-k；
8. 拼回观察窗口，写入 flattened variable-length KV layout；
9. 通过 flash_attn_varlen_func 解码，GQA 内以 query heads 的平均 score 选共享 KV。

3.3 关键机制与工程细节

4. 数据集、评测与可比性

Ruler 含 13 个 16K 长序列任务，覆盖 Single/Multi-key NIAH、Multi-value、Multi-query、变量跟踪、词频抽取及 single/multi-hop QA。论文选择 16K 是因为官方评测中 Mistral-7B-Instruct-v0.2 与 Llama-3.1-8B-Instruct 的 full-cache 最大有效长度为 16K（正文 p.6）。这适合测“是否忘掉关键针”，但不能代表 128K–2M 的调度、碎片和长生成压力。

LongBench 含 16 个数据集，论文按六域汇总：single-doc QA、multi-doc QA、summarization、few-shot、synthetic、code；平均输入长度 6,711（Appendix A.7，p.17）。各数据集指标不同，最终 average 是异质指标的算术平均，因此 pp 只代表该汇总尺度，不等价于统一概率意义上的准确率。

两种场景：question-aware 在压缩前已看到 context+question；question-agnostic 只压 context，之后才输入 question，更接近 prompt cache 多查询复用和多轮对话。后者是本论文最有价值的评测扩展，因为基于 query 的 eviction 会在问题未知时失去目标。

模型与设置：Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.2，另在 Llama-3.1-70B 上给出域级表；压缩发生在各层 prefill 后；预算比例为原 cache 的 20/40/60/80%，或固定每头平均 128/256/512/1024/2048；window=32，pool=7，论文 α=0.2（Sec.4.1，p.6）。

5. 主结果：质量提升真实，但“全面领先”需要降调

5.1 六域 × 三预算完整矩阵

下表逐项抄录论文 Table 1（p.7），Llama-3.1-8B、LongBench、question-agnostic。粗体表示同预算 SnapKV/Ada-SnapKV 两者较高；括号是本报告复算的 Ada−base 绝对 pp。

20% budget 的平均相对提升为 $(42.87-41.29)/41.29=3.83\%$。但 18 个域×预算配对中并非全胜：本表可见 3 个负向格；论文也准确报告 15/18 上升（正文 p.8）。因此贡献是更好的平均 Pareto，不是单调支配。

5.2 五预算 × 五方法：question-aware 与 unknown-query 的差距

下表来自 Appendix Table 5（p.19） 与 Table 7（p.20）；均为 Llama-3.1-8B 的 16 个 LongBench 数据集平均。SLM 是 StreamingLLM。每格均为论文原报，未补造标准差。

趋势很清楚：预算越宽、问题越早可见，reallocation 的边际价值越小。aware/2048 只有 +0.06 pp，几乎可视为饱和；agnostic/512 则是最有说服力的中等预算点。进一步逐格审计 Table 7 的 B=512，Ada-SnapKV 相对 SnapKV 14/16 上升、2/16 下降，平均 +1.62；最大的清晰增益之一是 TREC 35.00→43.00（+8.00 pp，+22.86%），而 LCC 66.79→66.12（−0.67）。平均值没有抹掉失败样本，但论文正文没有突出这些负向任务。

5.3 70B 与后续方法

Llama-3.1-70B、question-agnostic、20% budget 时，Ada-SnapKV 平均 44.95→46.08（+1.13 pp，+2.51%）；40% 时 48.91→49.64（+0.73 pp，+1.49%）（Table 2，p.9）。然而 Code 在 40% 下由 51.90 降到 49.23（−2.67 pp，−5.14%），说明“规模更大仍有收益”不等于各域稳健。

更新版论文还在 Table 3（p.9）汇总 follow-up：20% cache 时 CriticalKV 42.99→43.77（+0.78），DefensiveKV 43.78→46.68（+2.90）；40% 时分别 +0.71 与 +1.45。这里的数据是论文引用后续方法的二次汇总，不是 Ada-KV 原始实验的同步公平重跑；可证明分配器可移植，不能证明在统一系统栈中优于所有新方法。

6. 消融、敏感性、相变与统计

6.1 逐层消融

论文没有传统的“去掉 global allocation / 去掉 safeguard / 去掉 flattened kernel / 去掉 GQA 修复”四因素消融表。能辨识出的层次只有：

1. 算法层：SnapKV→Ada-SnapKV、Pyramid→Ada-Pyramid，隔离了 allocation 的平均收益；
2. 模型规模层：8B 主表与 70B Table 2，显示收益可迁移但非全域正向；
3. 场景层：aware→agnostic，显示 unknown query 时收益扩大；
4. 工程层：Figure 6 对 Full/Snap/Ada-Snap 的 peak memory 与 ms/token 画曲线，但论文未报告可复制的数值表、误差条、batch size、并发度或 request trace，所以不能计算端到端吞吐提升。

由于缺少 factorial ablation，不能定量回答：收益有多少来自 GQA 去复制、有多少来自 head reallocation、有多少来自 custom flattened layout。特别是正文说所有方法都加了 GQA compatibility，这提升了公平性，却也使与原始 SnapKV/Pyramid 公布实现的系统数字不可直接对照。

6.2 α 敏感性与“小预算相变”

Appendix Table 4（p.15）只在 Mistral-7B、LongBench、question-aware 测 α∈{0,0.2,0.5}：

从数值看，低预算下 α=0 最好，高预算下 α=0.5 略好，最大差 0.49 pp；因此 α 的敏感性小于主任务/预算变化。但算法公式是 $\alpha B_i^*+(1-\alpha)B/h$，按公式 α 越小越接近 uniform、越不激进；附录文字却写“smaller α allows more aggressive allocation”，方向相反。公开 README 的 floor_alpha 默认又是 0.5，而正文说所有实验固定 0.2。这不是文字小瑕疵：若复现者按“越小越激进”调参，会得到相反操作。

从结果矩阵还可观察到一个经验相变：aware 场景从 128 到 2048，Ada-Snap 增益从 +0.78 缩到 +0.06；agnostic 则在 512 达 +1.62、到 1024 缩到 +0.43。论文没有拟合 breakpoint，也没有更多预算点，因此只能称“边际收益在中低预算最大”的经验模式，不能声称存在严格相变。

6.3 统计显著性

论文未报告随机种子、标准差、置信区间、显著性检验或 bootstrap。LongBench 多数设置是确定性解码，但 GPU kernel、样本选择和模型实现仍可能引入变异；更重要的是 0.06–0.39 pp 的小差异缺少不确定性范围。因此我们可以确信大幅任务级变化（如 TREC +8.00 pp）值得复核，却不能把 aware/2048 的 +0.06 pp 解释为稳定真实提升。

7. 相关工作：问题来源—缺口—回应—设计传递

7.1 SnapKV

解决什么： 从 prompt 末端 observation window 推断未来生成会持续关注的 token，并逐 head 聚类/Top-k；原论文报告 16K 输入下最高 3.6× generation speed、8.2× memory efficiency。遗留缺口： 每个 head 固定相同 token 数，忽视 concentration 异质性。Ada-KV 如何回应： 保留 SnapKV 的分数、window 与 pooling，只把预算从 $B/h$ 换成 global Top-B 计数。设计如何传递： Ada-KV 的 Algorithm 2 几乎是 SnapKV 前插一个 allocator，因此复用性高，也完整继承 observation-window 稳定性假设。

7.2 PyramidInfer / PyramidKV

解决什么： 发现浅层更需要长 cache、深层可更激进压缩，建立 layer-wise 金字塔预算；ACL 论文报告相对 Accelerate 2.2× throughput 与超过 54% KV memory reduction。遗留缺口： layer 内仍 uniform per head，层间分得再聪明，层内仍可能浪费。Ada-KV 如何回应： 在每个 layer 已确定的总预算内二次分配给 heads。设计如何传递： 形成“layer allocator × head allocator × token selector”的可组合三层结构；但跨层联合最优尚未求解。

7.3 DuoAttention

解决什么： 通过优化/合成数据把 heads 分成少数 retrieval heads 与多数 streaming heads，后者只保留 sink+recent；ICLR 摘要报告 MHA memory 最高 2.55×、decode 2.18×，GQA 分别 1.67×/1.50×。遗留缺口： 二元 head 类型和离线 profiling 可能不适应 prompt/task，且训练/优化成本不为零。Ada-KV 如何回应： 每个输入、每层产生连续预算，无需训练。设计如何传递： 两者共享“heads 功能不均匀”这一核心观察；DuoAttention 把它离散成类型，Ada-KV 把它连续化为 token 数。

7.4 HeadKV

解决什么： 用检索—推理样例估计 head importance，再做全局 head-level allocation；论文称只保留 1.5% KV 时仍达 full-cache contextual QA 的 97%。遗留缺口： importance 依赖离线样例与任务代理，遇到分布漂移可能错配。Ada-KV 如何回应： 不需要离线 profile，直接用当前 context 的 attention concentration。设计如何传递： HeadKV 的公开仓库明确建立在 Ada-KV/PyramidKV 上，说明 Ada-KV 的最大价值可能是“分配接口”而非某个具体 score。

7.5 KV-Compress

解决什么： 指出 variable compression rates 如果落不到 PagedAttention 的整块释放，就只有理论压缩率；通过连续 KV block eviction 与 vLLM 集成，报告最高 5.18× throughput。遗留缺口： block 粒度会限制细粒度最优，且工作负载结果不能直接等同于 Ada-KV。Ada-KV 如何回应： flattened varlen layout 能运行不等长 heads，但没有完成 PagedAttention 服务栈评测。设计如何传递： 把 Ada-KV 的“逻辑预算”推进成“物理可回收内存”，是从算法到生产的关键下一步。

非线性技术演进树

Full KV cache
├─ 结构固定、保留局部
│  └─ StreamingLLM：attention sink + recent window
├─ 按 token 重要性 eviction
│  ├─ H2O：累计 heavy hitter
│  └─ SnapKV：observation-window score
│     ├─ PyramidInfer：先做 layer-wise budget
│     │  └─ Ada-Pyramid：再做 head-wise budget
│     └─ Ada-SnapKV：global Top-B → per-head counts
│        ├─ CriticalKV：attention + value/output perturbation
│        ├─ DefensiveKV：风险/脆弱性保护
│        └─ KVzip：用 context reconstruction 做 query-agnostic score
├─ 按 head 功能 profile
│  ├─ DuoAttention：retrieval vs streaming（二类）
│  └─ HeadKV：retrieval-reasoning importance（连续）
└─ 系统物理化
   ├─ Ada-KV flattened varlen + custom CUDA
   └─ KV-Compress：PagedAttention block 回收 + vLLM throughput

演进动力与转折： 第一阶段只问“哪些 token 不重要”；第二阶段发现 budget 本身是多维资源分配问题（layer/head/token）；第三阶段把 query-aware 的即时分数转向 multi-query 可复用的 query-agnostic score；真正的系统转折则是承认“逻辑上删掉”不等于“物理内存已释放”，必须与 block allocator、kernel 和 scheduler 协同。

跨论文对标

8. 真正贡献、可复用设计与迁移潜力

1. 真正贡献是 decomposition。 把 KV 压缩拆成“总预算—层预算—头预算—头内 token 选择”，并证明在其上界下 global Top-B 给出单层最优 head budget。这个接口比 Ada-SnapKV 的单一分数更可复用。
2. question-agnostic 评测是方法之外的重要贡献。 prompt cache、多轮对话、RAG prefix reuse 都不能在压缩时偷看未来 query；把 context/question 分开暴露了原 Top-k 方法的脆弱性。
3. flattened variable-length layout 是落地所需最小工程。 如果仍为每个 head padding 到最大长度，算法压缩率无法兑现。custom CUDA + varlen FlashAttention 至少证明“不等长 head 可运行”。
4. 迁移到 VLM/视频生成有直接路径。 只要注意力头的 concentration 异质且能获得 score，就能把总 budget 做 global selection；但视觉 token 的局部结构和跨模态 heads 可能要求按 modality/group 加 safeguard。
5. 可与量化正交组合。 eviction 降 token 数，KV quantization 降每 token 位宽；可形成二维 budget，但需要统一优化 accuracy、dequant cost 与 block packing，而不能简单相乘理论压缩率。

9. 限制与独立批判

9.1 论文自述限制 / 明示未来范围

1. 正式 Limitations：仅层内分配。 Appendix A.6（p.17）明确说 head-wise allocation 仍局限在 single layer，跨层扩展与理论留待未来。
2. 量化、稀疏注意力未联合。 Appendix A.1（约 p.14）把 quantization 与 sparse attention 组合列为未来工作；因此不能从本论文推出复合压缩率或联合稳定性。
3. 更先进 selector 未充分覆盖。 Appendix A.1 说未来可接更先进 cache eviction；v5 的 Table 3 仅汇总少量 follow-up 结果，并非统一重跑。

9.2 独立批判（每点均为“证据→推论”）

1. [理论有效性] 因为 Theorem 3.1 用一个跨所有 heads 的 $C=\max_i\|V_iW_i^O\|_\infty$ 把 value/output projection 差异压成全局最坏常数，且正文 p.4 明说 lower upper bound 不严格保证 lower eviction loss，所以 Ada-KV 的证明只支持 attention-mass surrogate 最优，不能称真实输出扰动或任务质量最优。
2. [参数语义/复现] 因为 Algorithm 2 定义 $\alpha B_i^*+(1-\alpha)B/h$，按代数 α 越小越 uniform；Appendix A.3 却写“smaller α more aggressive”，README 默认 floor_alpha=0.5 又不同于正文固定 0.2，所以 safeguard 的语义和复现实验配置存在可操作冲突，复现者可能朝相反方向调参。
3. [系统证据] 因为 Figure 6 只给单一 B=1024 的 memory/latency 曲线，没有表格数值、batch size、并发、请求分布、TTFT/ITL/P99 或 goodput，所以可以说“额外 allocator 没明显拖慢 microbenchmark”，不能说生产服务吞吐已被验证。
4. [外部有效性] 因为主评测仅两个 7–8B GQA dense 模型，额外 70B 只有域级表，且 Ruler 仅 16K、LongBench 平均长度 6,711，所以不能外推到 128K–2M、MoE/MLA、新一代 reasoning 长输出或多租户 prefix cache。
5. [统计] 因为全文未报告 seeds、标准差、置信区间或显著性，而 aware/2048 的 Ada-Snap 增益只有 0.06 pp，所以小增益可能低于评测噪声；只有较大且跨任务一致的差异值得强结论。
6. [平均值掩盖] 因为 Table 1 有 3/18 配对下降，70B Code 在 40% budget 从 51.90 降到 49.23（−2.67 pp），所以“consistent improvement”应解释为平均/多数条件，而非逐任务单调支配；面向 code workload 需要单独 guardrail。
7. [内存物理化] 因为 flattened layout 证明 variable-length head 能计算，却未测试 PagedAttention block fragmentation、continuous batching 与 eviction 后真正可回收页数，而 KV-Compress 正是为这一缺口设计，所以逻辑 cache 比例不能直接当作服务可用 HBM 比例。
8. [动态生成] 因为论文统一在每层 prefill 结束后压缩，没有评测长 CoT 解码期间 cache 继续增长、周期性重压缩与 score 漂移，所以其结果更适合长 prompt + 较短 answer，不能直接覆盖 reasoning model 的长 generation。

10. 开放挑战：可执行的 head-to-head 实验空白

理论

• Attention-only vs value-aware。 在相同总 budget、相同 varlen kernel 下，比较 Ada-KV global attention mass、CriticalKV 的 value/output perturbation score、以及二者的拉格朗日联合目标；逐层记录真实 $\|y-\hat y\|_1$、上界/真实值比率和最终 task score。这样能检验 bound tightness，而不是只比较平均任务分。
• 层内贪心 vs 跨层联合。 设相同全模型 KV bytes，比较 Ada-KV（每层固定总额）、Pyramid×Ada（预设层预算）、可学习/动态跨层 knapsack；在 8B/70B、16K/128K 上画质量—bytes Pareto，并报告 solver 开销。

工程应用

• Flattened vs paged physical memory。 把 Ada-KV 官方 CUDA、NVIDIA kvpress hook、KV-Compress/vLLM 三者放进同一 vLLM 版本，同模型同 workload，测逻辑压缩率、实际 HBM、fragmentation、TTFT、ITL、P50/P99、goodput。关键是固定请求到达轨迹，而不是各报峰值。
• 静态 prefill eviction vs 周期重压缩。 对 32K prompt + 32K CoT，比较只压一次、每 1K token 重压、基于 drift 触发重压；测答案正确率、重压 kernel 开销与 tail latency，从而判断 Ada-KV 是否适合 reasoning serving。
• 等质量而非等预算。 对 SnapKV/Ada-Snap/KVzip/HeadKV，在“LongBench 平均下降≤1 pp”约束下分别寻找最小真实 HBM，再比较吞吐；这比固定 20% budget 更接近容量规划。

新兴方向

• 跨模态 heads。 在长视频/文档 VLM 上比较全局跨模态 Top-B、按 modality 分区 Top-B、Ada-KV+modality safeguard；测文本 QA、时间定位、OCR 与视频一致性，避免 global competition 饿死视觉 heads。
• Query-agnostic 多租户缓存。 同一 64K prefix 后接 100 个异质 queries，对 Ada-KV、KVzip reconstruction、DuoAttention profile 做一次压缩多次复用；报告首问与第 100 问的最坏准确率、cache reuse hit rate、压缩摊销成本。

11. 近期值得继续跟踪的 7 篇工作

1. KVzip, NeurIPS 2025：用 context reconstruction 形成真正 query-agnostic importance，报告 3–4× memory reduction 与约 2× FlashAttention latency 降低；它是 Ada-KV“未来 query 未知”问题最直接的 head-to-head。
2. CriticalKV / Output Perturbation：把 value states 与 output projection 纳入重要性，报告在 Llama 超过 92% heads 降低输出扰动；它直接攻击 Ada-KV 上界过松的问题。
3. The Sparse Frontier, ACL Findings 2026：系统显示没有一种 sparse attention 策略在任务/阶段上普适最优，并做 isoFLOPS/scaling 分析；提醒不能把单一 LongBench 平均当作部署结论。
4. KV-Compress：把 variable per-head rate 对齐 PagedAttention 物理块，vLLM throughput 最高 5.18×；其价值在“把理论压缩变成可回收页”。
5. KVComp：算法—系统协同的有损压缩框架，报告平均 47%、最高 83% 更高 memory reduction；适合与 eviction 做等 HBM/等质量比较。
6. CompressKV：只用具备语义检索能力的 heads 决定 token 重要性，并做 layer-adaptive allocation；它把“哪些 head 可靠”与“给多少预算”进一步解耦。
7. VeriCache：用压缩 KV 起草、full KV 验证，目标是输出逐 token 等价，报告最高 4× throughput；它代表从“接受近似误差”转向“压缩只做 speculative accelerator”的另一条路线。

12. 最终判断

Ada-KV 值得看，不是因为它带来夸张的平均分，而是因为它把 KV cache 压缩的一个隐形自由度——head budget——提炼成三行 global selection，并提供了能跑 variable-length heads 的最小系统实现。最可信的结论是：在 query-agnostic、中低预算下，uniform per-head allocation 明显次优；Llama-3.1-8B 的 B=512 LongBench 平均 +1.62 pp、14/16 数据集上升支持这一点。

但工程采购式结论应更保守：论文没有服务级吞吐/P99、没有统计区间、没有动态长生成，且 α 公式/文字/README 三方不一致。把 Ada-KV 视为一个可插拔 allocator 是合理的；把它直接视为“生产上无损且更快的 KV 压缩系统”则证据不足。

证据与生成说明。 所有数值均来自实际读取的 Ada-KV arXiv v5 正文/附录或本报告基于其表格的明确复算；曲线无法精确读取处未补造。HTML 按 Warm Editorial 模板生成，内联 CSS/JS、深浅主题与响应式表格。本机未发现 /usr/bin/chromium、chromium-browser 或 /opt/pw-browsers 下可执行 Chromium，因此按约束未运行 playwright install，也未虚称完成截图检查；改用模板验证器、HTML 结构检查、响应式静态规则与溢出审计。索引条目已同步更新至 ml-report-index.md。