SuperInfer

4.1 Virtual Lag Time

RotaSched 用 Virtual Lag Time（VLT）把三种状态放到同一优先级轴上。根据 §4.2.2、Equation（PDF p.6）：

]

论文把 (S_B) 定义为 TBT SLO、(S_F) 定义为 TTFT SLO；(t_{last}) 是最近 token 时间，(t_{arr}) 是到达时间，(t_{run}) 是本次进入 running 的时间。正 VLT 表示“已经落后”，负 VLT 表示“已得到较多执行”；() 控制 TBT 相对 TTFT 的敏感度，(_B,_F) 是容忍区间。

4.2 Largest-VLT-First

每个 engine iteration：
  若 HBM 足以容纳所有请求：回退 FCFS
  否则：
    1. 为 waiting / rotary / running 请求计算 VLT
    2. 按 VLT 降序排序为 L
    3. 从 L 头部选择 waiting/rotary，请求块数不超过 B_HBM + B_xfer
    4. 若空间不足，从 L 尾部抢占 VLT 最小的 running 请求
    5. DuplexKV 并发执行换入与 eager 换出；下一迭代使用准备好的 batch

该流程来自 §4.2.3 与 Figure 10（PDF p.6）。(B_{xfer}) 不是抽象超参：它是每轮允许轮转的 KV block 数，直接把可用带宽转换为“每轮可偿还多少 SLO 欠账”。这也是论文最可迁移的设计观：系统容量应进入调度约束，而不是藏在事后 backpressure 中。

4.3 DuplexKV 的数据竞争规避

如果同一请求正在 H2D 恢复，同时 D2H 又写回更新过的 KV，朴素全双工会发生覆盖竞态。DuplexKV 不等到抢占才整体换出，而是在 block 写满后立即把 immutable block eager-copy 到 DRAM 并标为 synced；抢占时 synced HBM block 可直接丢弃，只有未同步尾块需要处理。配合 block-first layout，把跨层、跨头散落的小 segment 合并为约 4 MB 传输单元，再把同方向 copy 合并进大 kernel（§4.3、Figure 11–14，PDF pp.7–8）。

7.1 六工作负载 × 六方法

Figure 16（PDF p.10）确实覆盖 3 模型 × 2 数据集 × 6 方法，横轴为多档 RPS，上下两行分别是 TTFT/TBT attainment。论文只提供曲线，没有逐点表格或附录 CSV；因此不能诚实重建“五基准×六方法”的精确数值矩阵，也不能从小图像素制造两位小数。本报告保留矩阵结构并标注可推出的结论：

唯一由摘要与正文明确给出的主结果幅度是：TTFT SLO attainment rate 最高提高 74.7 个百分点（不是相对 74.7%）；throughput 在高请求率下最高提高 29.2%，整体“可比或略高”（Abstract、§5.3.6，PDF pp.1、12）。作者没有给均值、标准差、置信区间或每个 workload 的精确峰值所在 RPS，因此不能判断 74.7 pp 是稳定收益还是某个压力拐点上的单点最大值。

7.2 可审计的 DuplexKV 主表

Table 1（PDF p.11）双向传输 Qwen2.5-32B 的 16 GB KV（每方向 8 GB / 32768 tokens），给出了精确数字：

计算说明：相对 Naive 加速 = 1556.15 / E2E；距 Ideal = E2E / 41.66。由此 DuplexKV 的 E2E 较 Naive 减少 96.99%，且每方向带宽达到理想 192 GB/s 的 94.27% / 93.42%。这比“900 GB/s 链路”更重要：论文没有假装达到标称值，而是明确以 Grace DRAM 的 192+192 GB/s 并发上限作为工程基准。

8.1 组件消融

Figure 17（PDF p.10）比较 vLLM、仅 RotaSched + 低传输预算 L（(B_{xfer}=300)）、仅 RotaSched + 强行高预算 H（(B_{xfer}=2400)）、完整 SuperInfer。能稳健推出三点：

1. RotaSched(L) 已提高 TTFT attainment，说明调度本身有效；
2. 在低效 transfer engine 上强行把预算提到 2400，会因传输不能被 compute 覆盖而显著伤害 TBT；
3. 完整 SuperInfer 才能同时用大预算和保持 TBT，证明 RotaSched 与 DuplexKV 是乘法关系，不是两个独立小优化。

Figure 17 仍未印出精确表格，故不填造数值。Table 1 则把 DuplexKV 内部按 Naive → MS → MS+MK → full duplex 分层，表明最大跃迁来自大 segment 与 merged kernel，eager full-duplex 再把 63.14 ms 降到 46.80 ms（绝对 16.34 ms，相对 25.88%）。这提醒读者：论文的“核心新颖性”与“最大性能来源”并不完全同一件事。

8.2 ()：TTFT/TBT 的明确 Pareto

Figure 18（PDF p.10）固定 (_B=_F=0)，扫 ({1,2,3,4,5,10,50,100})。() 越大，rotary 请求越快获得优先级，TBT attainment 上升，但 waiting 请求被延后，TTFT attainment 下降。作者建议 TTFT 敏感场景用 ()，称 () 为平衡点；再增大只有递减的 TBT 收益，却显著损伤 TTFT。主实验因此选 3。

8.3 (_F)、(_B)：阈值相变

Figure 19 固定 (,_B=0)，当 (_F) 时 P99 TTFT 急剧上升而 TBT 改善很小：waiting 请求的 VLT 被容忍窗口压住，直到过晚才获得优先级。Figure 20 固定 (,_F=0)，更大的 (_B) 会延后 rotary 请求恢复、恶化 P99 TBT；作者建议 (_B<0) 获得更好的 TBT tail，代价是 TTFT tail 上升（§5.3.2，PDF pp.10–11）。这不是平滑调参，而是存在清晰的 SLO 相变区。

8.4 (B_{xfer})：硬件能力被显式写入调度

Figure 21 扫 (B_{xfer}{300,600,1200,2400,4800})，更大预算显著降低 P99 TTFT 与 TBT（§5.3.4，PDF p.11）；但曲线未给点值。预算越大，单轮可清理 backlog 越多，也越依赖 DuplexKV。与 Figure 17 合看，结论不是“预算越大越好”，而是“只有传输引擎能覆盖预算时，预算增大才有正收益”。

10.1 PagedAttention / vLLM：从碎片浪费到块式 KV

PagedAttention 把 OS 虚拟内存思想带入 KV 管理，使内存浪费接近零并支持跨请求共享；SOSP 2023 报告在同等延迟下吞吐提高 2–4×。遗留缺口是块式布局优化了容量，却把每个请求的 KV 散成大量小 segment；这恰好让 CPU–GPU 批量传输效率很差。SuperInfer 不否定 paging，而是在 block table 之上加 block-first 传输布局和 merged kernel。设计传递关系是：逻辑分页保留，物理搬运重排。

10.2 Sarathi-Serve：从 prefill 抢占 decode 到 stall-free batching

Sarathi-Serve 用 chunked prefill 与 stall-free schedule 消除长 prefill 对 decode 的干扰；OSDI 2024 报告 Mistral-7B 单 A100 capacity 2.6×、Yi-34B 双 A100 3.7×、Falcon-180B pipeline parallel 5.6×。遗留缺口是它假设请求 KV 都能留在 GPU：当 HBM 被长请求占满，chunked prefill 仍没有位置接纳新请求。SuperInfer 保留 chunked prefill，并用主动轮转腾出 HBM。设计传递关系是：先让 iteration 可组合，再让 residency 可轮转。

10.3 LTR：从 FCFS 到预测式 SJF

LTR 发现精确预测输出长度很难，但相对排序可学；NeurIPS 2024 报告 chatbot latency 最多降低 2.8×、synthetic data throughput 提高 6.5×。遗留缺口有两层：需要离线训练 ranker，且无论队列顺序多聪明，HBM 容量耗尽时仍无法运行。SuperInfer 用在线可观测的“已等待多久 / 最近 token 多久”替代长度预测，并允许把 running 请求真正换出。设计传递关系是：从预测工作量转向直接度量 SLO 欠账。

10.4 NEO：从纯搬运到 CPU–GPU 协同计算

NEO 将一部分 attention 计算和 KV 一起卸载到 CPU，用非对称流水和 load-aware scheduling 增大 batch；论文摘要报告 T4/A10G/H100 吞吐最高分别提高 7.5× / 26% / 14%，更强 CPU 上 A10G 最高 79.3%。遗留缺口是 CPU 进入计算关键路径，硬件不平衡与模型支持更复杂；SuperInfer 的 NEO 基线也不支持 Mixtral-8x7B。SuperInfer 选择“CPU 只做大容量 KV tier”，保持计算在 Hopper 上。设计传递关系是：保留异构流水，但缩小 CPU 职责以降低模型耦合。

10.5 Pie：Superchip 上性能透明的内存池

Pie 最接近 SuperInfer：在 GH200 上利用可预测访问与并发 swapping，摘要报告较 vLLM 吞吐最高 1.9×、延迟 2×、同性能 GPU 内存减少 1.67×，较 FlexGen 吞吐 9.4×。遗留缺口是 Pie 以 capacity / performance transparency 为主，没有把 TTFT 与 TBT 紧迫度写进调度，也没有针对高负载的主动轮转。SuperInfer 把 Pie 的“CPU memory pool”提升为 SLO 可控 execution tier。关键缺憾是论文没有与 Pie 做实测 head-to-head，理由是当时无公开代码（§5.2）。

                         ┌─ Sarathi-Serve：chunked prefill / stall-free batch
PagedAttention：块式 KV ─┤
                         └─ LTR / LightLLM：队列排序与未来内存预测
                                  │
NEO：CPU 参与 attention ───────────┼──> SuperInfer：VLT/LVF 主动轮转
                                  │             + DuplexKV 全双工迁移
Pie：GH200 CPU memory pool ────────┘
                                  │
                                  └─ 新转折：硬件可实现带宽成为调度预算 B_xfer

演进动力不是单线“更快 kernel”，而是三次边界迁移：先从算子走向 KV 内存管理，再从平均吞吐走向 TTFT/TBT SLO，最后从 PCIe 离散设备走向 CPU–GPU 一体化内存层级。SuperInfer 的转折在于把互连能力变成可调度资源，而不是后端实现细节。

12.1 论文自述 / 可直接定位的边界

1. 参数不能由 workload 自动预测。 §5.3.2（PDF p.11）明确说只给定性行为，(,_B,_F) 应按应用定制，论文不尝试根据在线 query distribution 建立关联或预测。
2. 低负载时收益消失。 Introduction（PDF p.2）说明内存充足时 SuperInfer 与 baseline 匹配；其价值来自高压下的 SLO-aware memory management，不是普遍降低每 token kernel latency。
3. 代码验证范围是单 GH200。 官方 README 写明 AE 配置为单 GH200（144 GB HBM、480 GB DRAM），其他 Ampere/Hopper “应可工作但未测试”；论文虽给 TP=2，但仍是同类 GH200/NVLink 环境。

12.2 独立批判（每点均为“因为 X，所以 Y”）

1. [外部有效性] 因为全部主实验只在 GH200 NVL2、固定 400 GB offload pool 上完成，所以不能把 74.7 pp 推广到 PCIe、MI300A、CXL memory 或云上异构实例；这些平台的 (B_{xfer}) 可行域不同。
2. [基线公平性] 因为最相关的 Pie 被以“无公开代码”排除，而 SuperInfer正是在 GH200 CPU-memory pooling 上扩展 SLO 调度，所以现有证据只能证明优于已实现基线集合，不能证明优于当时最接近的 Superchip 方案。
3. [统计可靠性] 因为 Figure 16–23 没有重复次数、误差条、置信区间或显著性检验，所以最大 +74.7 pp 可能放大压力拐点与运行噪声；至少应对请求级达标率做 bootstrap，并对多次 trace replay 报区间。
4. [阈值依赖] 因为主实验固定 TTFT=5 s、TBT=100 ms，而 (,_B=0,_F=0.5) 的优劣直接由阈值决定，所以“平衡”不是系统固有性质；若交互式语音要求 TBT<50 ms，排序与相变位置可能重排。
5. [工作负载真实性] 因为 ShareGPT/LMSYS 请求被 Poisson 到达驱动，而真实服务有 burst、昼夜、优先级、相似前缀与重试相关性，所以不能推出对 production burst 的恢复时间；应增加 self-exciting arrival 与 trace-driven replay。
6. [贡献归因] 因为 Table 1 中仅把 64 KB segment 合到 4 MB 已将 E2E 从 1556.15 ms 降到 159.87 ms（9.73×），而 full DuplexKV 从 63.14 ms 再降到 46.80 ms（1.35×），所以性能最大来源是布局与批量化，不应把全部收益叙述为全双工或调度创新。
7. [成本与能效] 因为论文只报 SLO、吞吐和时延，没有 GH200 成本、CPU/DRAM 功耗、每百万 token 能耗或与双 H100 的 TCO，所以不能判断“大 DRAM Superchip + 400 GB KV pool”是否比更多普通 GPU 更经济。
8. [多租户公平] 因为 LVF 总是优先最大欠账，且论文未报 per-tenant slowdown、starvation 或 Jain fairness，所以高优先级/长生成/频繁恢复的组合可能产生策略性占用；需要把租户权重与最大连续轮转次数显式纳入。

理论

• VLT vs. deadline/queueing optimum： 在相同到达 trace、相同 HBM/DRAM 与传输预算下，对比 LVF、EDF、Whittle-index、SRPT-with-estimation；报告两类 SLO violation、worst-case starvation 与 competitive ratio。空白在于现有论文只给经验曲线，没有说明分段 VLT 何时近似最优。
• 固定参数 vs. 在线控制： 用同一 workload 在 stationary Poisson、Markov burst、自激 Hawkes 三种到达下，对比固定 (,)、bandit controller、MPC；预注册目标为 TTFT/TBT violation 加权和与参数切换开销。
• 无损 offload vs. 有损 compression： 在相同 HBM+DRAM byte budget 下比较 SuperInfer、KV quantization/eviction、二者组合；除 SLO 外加入 perplexity、任务准确率与输出完全一致率，构建质量—容量—尾延迟三目标前沿。

工程应用

• SuperInfer vs. Pie： 在同一 GH200、同一 vLLM commit、同一 400 GB host pool 上跑 ShareGPT/LMSYS trace；必须报 TTFT/TBT CDF、吞吐、C2C/DRAM 带宽、CPU 利用、功耗与 30 次重复。这是最关键缺失对比。
• GH200 vs. MI300A vs. PCIe H200： 固定模型与请求轨迹，分别调优 segment size / (B_{xfer})，比较收益相对各平台物理上界的比例，而非绝对 GB/s。
• 单租户 vs. 8 租户： 给每租户不同 TTFT/TBT SLO 和权重，对比 LVF 与 weighted-LVF；报告 per-tenant attainment、P99 slowdown 与 starvation count，验证轮转是否可用于生产 QoS。

新兴方向

• reasoning model 长 CoT： 在 DeepSeek/Qwen reasoning workload 上比较 SuperInfer、SkipKV、两者组合；固定答案准确率与最大输出 token，检验“搬全量 KV”与“抑制冗余生成”是互补还是互相干扰。
• prefill/decode disaggregation： 把 rotary tier 放在 decode pool、远端 KV server 或 CXL memory，比较本地 GH200；报告网络拥塞下恢复 latency 与 failure recovery，检验 VLT 能否跨节点使用。
• 代理与多轮共享上下文： 与 ContextPilot/prefix caching head-to-head，固定相同上下文复用率；比较“避免重新 prefill”与“主动轮转”在长会话中的边际收益及缓存污染。