RSD：让过程奖励决定大小模型接管

0. 链接验证表

下列网址均已实际访问。实验数字只取 ICML/PMLR 正式稿、arXiv v3 PDF 及官方实现；Hugging Face、Papers with Code、Semantic Scholar 只用于发现或交叉核验，不作为数字来源。OpenReview 元数据页可定位，但自动访问正文时出现浏览器挑战，故不把其内容作为证据。

1. 候选池、排重与随机抽取

运行日由 date +%u 得到 5，因此本轮领域为“效率与系统”。先检查 ml-report-index.md：最近 14 天已经深度覆盖 SuperInfer（推理系统）、LRAM（递归架构）、RGM/HPS/ReActR 等主题；更早还覆盖 Ada‑KV 与 NVFP4 scale search。为避免把相同结论换个模型再讲，本轮不把 KV eviction、递归骨干或 block floating-point 量化作为核心。

候选来自 ICML/NeurIPS/MLSys/ICLR 官方 proceedings 或 accepted-paper 页面，并用 arXiv、OpenReview、Hugging Face Daily Papers、Papers with Code、Semantic Scholar 做补充发现与去重。下表列出实际进入随机池的 24 篇；对没有逐篇附单独 URL 的候选，给出已访问的相应官方会议入口，避免把未经访问的猜测链接写进报告。

实际执行 shuf -i 1-24 -n 1，输出 18。RSD 是 ICML 2025 主会论文，距本轮不足 24 个月，正式稿、附录与官方代码齐全，且与最近 14 天核心主题不重合，因此 一次抽中即采用，无重抽。随机过程决定“读哪一篇”，不决定结论强弱。

2. Motivation：token 级“完全一致”错过了推理步骤的语义冗余

标准 speculative decoding 让小 draft model 先猜若干 token，再由大 target model 一次并行校验。它的关键优点是分布无偏：拒绝采样修正后，最终输出严格服从 target distribution。代价则是验收标准极严——draft 写出“因此答案为 4”，target 更偏好“所以结果是 4”，即便两段推理语义相同，只要 token 概率不匹配就会拒绝。对于长 chain-of-thought，步骤内容比逐字措辞重要，这种严格性把小模型已经完成的正确工作丢掉。

论文表 2 给出直接证据：Qwen2.5‑Math‑7B target 在六项数学/科学基准平均 65.3，token-level SD（7B target / 1.5B draft，7 speculative tokens）反而是 64.6；RSD 使用 7B PRM、固定阈值 0.7 时达到 66.1（PDF p.5，表 2）。换言之，标准 SD 的理论无偏并不等于有限样本准确率必然更高；RSD 则主动放弃“精确复现 target distribution”，换取过程奖励允许的语义分歧。

第二个痛点来自 best-of-N。让 1.5B 模型独立采样 16 条完整推理，再用 7B reward model 选最优，在同一表中平均 64.8，仍低于 RSD 的 66.1；对 MATH‑500，1.5B 单模型、Process Best-of-8、Best-of-16、Beam-4、Beam-8、RSD 分别为 73.8、75.8、76.0、78.2、78.2、82.6（PDF p.6，表 3）。搜索能提高覆盖，却把 reward model 放到序列末端或宽度维度；RSD 的转折是把奖励用作每个 reasoning step 的路由器。

第三个痛点是 test-time scaling 的成本位置。困难题需要大模型，但容易步骤未必需要。论文按 MATH 难度分层：固定阈值 0.7 时，仅靠 draft 完成整题的比例从 Level 1 的 84% 下降到 Level 5 的 19%；target 介入带来的准确率增益从 Level 1 的 +4.7 pp 增至 Level 4/5 的 +16.4/+15.7 pp（附录 B.2，PDF p.17，图 B.1）。这支持“把昂贵模型留给困难步骤”，但也提示路由器必须可靠：越难的题，错误 PRM 判断的后果越大。

3. 论文故事线、核心假设与不可避免的权衡

RSD 的故事线有四层。

1. 从 token 提案提升到 reasoning-step 提案：draft 每次生成到 \n\n 分隔符，一个完整步骤成为验收单位。
2. 用 PRM 代替 likelihood matching：过程奖励模型给步骤分数；分数高则保留 draft 步骤，低则丢弃并由 target 从同一上下文重新生成一步。
3. 把“验收概率”形式化为混合策略：输出分布是 draft 与 target 的上下文相关混合，不再声称等于 target。
4. 在成本预算下寻找阈值：若只能让 draft 承担给定比例的步骤，理论上 reward 的 top-quantile 二值阈值最优；实践用固定 δ=0.7，并报告逐任务调优 δ* 的上界。

这条故事依赖一个强假设：在每个上下文，target 的期望奖励至少不差于 draft（论文式 1，PDF p.2）。然而附录表 B.1 恰有反例：CN Middle School 上 draft 75.2、target 72.3；College Math 上 draft 48.0、target 46.8（PDF p.15）。论文把它们解释为 RSD 仍能利用 draft 优势，实际也达到 78.2 与 48.2；但这意味着定理的充分条件并非所有测试子域都成立，理论不能无条件覆盖完整实验分布。

权衡同样明确：标准 SD 保持 target 分布，却只能接收 token-level compatible 提案；RSD 接收语义上“看起来正确”的步骤，准确率可能更高，却受 PRM 偏差影响且失去分布保真。对数学求解，“最终答案准确率”通常比 exact sampling 更重要；对需要校准概率、版权过滤、安全策略或可审计采样的部署，这个交换未必可接受。

4. 方程级形式化与实际执行流程

给定问题 x，推理被切成步骤 y=(y_1,…,y_T)，第 i 步上下文记为 z_i=[x,y_1,…,y_{i-1}]。draft、target 分别是 P_m(y_i|z_i) 与 P_M(y_i|z_i)，过程奖励是 r(y_i,z_i)。

论文假设（式 1，PDF p.2）：

E_{y~P_M(·|z)}[r(y,z)] ≥ E_{y~P_m(·|z)}[r(y,z)]。

定义接受函数 ω_r(y|z)∈[0,1] 后，RSD 的步骤分布（式 2，PDF p.3）是：

P_RSD(y|z)=ω_r(y|z)P_m(y|z)+ν(z)P_M(y|z)，

其中 ν(z)=1−E_{y~P_m(·|z)}[ω_r(y|z)]。第一项是被接受的 draft 质量，第二项是拒绝后由 target 补回的概率质量。这个式子也揭示它与标准 SD 的根本差异：没有 residual correction 去恢复 P_M，所以 P_RSD≠P_M 通常成立。

若约束 draft 的平均接受率为 γ，论文 Proposition 2.3 给出按奖励排序的二值最优策略（式 3，PDF p.4）：

ω_r^*(y|z)=1[r(y,z)≥δ_γ(z)]，

δ_γ(z) 是 draft 奖励分布的 (1−γ) 分位数。工程实现没有在线估计每个上下文的分位数，而用全局固定阈值 0.7；因此定理说明“若阈值知道，该怎样选”，并不证明一个全局 0.7 对所有任务最优。

输入：问题 x，draft Pm，target PM，过程奖励模型 PRM，阈值 δ
上下文 z ← x
while 未生成终止标记：
    draft_step ← Pm.generate(z, stop="\\n\\n")
    score ← PRM(z + draft_step) 的最后步骤分数
    if score ≥ δ：
        接受 draft_step
    else：
        丢弃 draft_step
        target_step ← PM.generate(z, stop="\\n\\n")
        接受 target_step
    z ← z + 接受的步骤
return 从最终文本抽取的答案

官方 main_online.py 的实际路径比伪代码更重：draft、target、PRM 是三个独立 OpenAI-compatible server/client；每一步先请求 draft，然后把累计 prompt+response 全部 tokenize 后送入 PRM embedding 接口，若拒绝再串行请求 target。README 明确说 vLLM 在线模式至少需要 3 张 GPU，原因是当前配置不支持把多个模型共置于一张 GPU。这些代码事实不否定算法，却说明论文 FLOPs 模型没有覆盖 RPC、重复前缀打分、KV/显存驻留与跨服务排队。

5. 关键机制与工程细节

6. 数据集、基准与指标说明

所有“pp”表示百分点差，相对提升=(RSD−基线)/基线×100%。准确率的相对百分比不能替代置信区间；论文未报告方差，故小于 1 pp 的变化尤其应谨慎。

7. 完整主结果矩阵：六基准×七方法

下表来自论文表 2（PDF p.5），均为 Qwen2.5‑Math 系列。δ* 是按任务优化阈值，属于调参上界；固定 δ=.7 才是更接近一次部署的结果。加粗是该列最高，但不同方法的总 FLOPs 不完全相同，不能把它当作严格等预算排行榜。

固定阈值、7B PRM 的 RSD 相对 target 7B 的逐列变化如下（同源表 2）：

最显眼的单项是小 PRM 的 GPQA：38.4 对 target 32.8，+5.6 pp / +17.07%；但同一配置在 Olympiad 从 41.2 降至 39.6，说明“更大 PRM 总是更好”也不成立。RSD 的优势来自路由与奖励的任务耦合，不是一个单调的模型规模律。

7.1 72B 结果与 FLOPs 结论

论文表 2 的 72B block：target 72B 在六项平均 71.8；token SD 为 71.1；RSD（7B draft / 72B target / 7B PRM）固定阈值为 72.7，优化阈值为 72.9。MATH‑500 上 RSD 为 88.0，target 为 85.6，即 +2.4 pp / +2.80%。图 4 与正文称这一点使用约 4.4× 更少 FLOPs。准确表述应是“论文 FLOPs 代理下降 4.4×”，不是“延迟加速 4.4×”：论文没有提供秒级 latency、tokens/s、请求并发、能耗或 P99。

7.2 一般指令边界

AlpacaEval 中，draft 1.5B、target 7B、RSD 的 win rate 分别是 7.09、24.47、18.85；RSD 有 65% token 由 draft 单独生成，但仍比 target 低 5.62 pp / 22.97% 相对值（PDF p.8，§4.5）。这组结果比“平均 +0.8 pp”更重要：没有专用 general-domain PRM 时，RSD 的数学成功不能直接迁移到开放式指令跟随。

8. 逐层消融、超参敏感性与相变

8.1 搜索策略层：过程内路由优于序列末端挑选

论文表 3（PDF p.6）在 MATH‑500 / GSM8K / Minerva Math 比较：1.5B 单模型 73.8/85.0/29.0；Process BoN‑8 75.8/87.8/32.7；BoN‑16 76.0/87.9/31.2；Beam‑4 78.2/88.9/33.5；Beam‑8 78.2/88.4/32.4；RSD 82.6/94.5/34.6。因为 RSD 每一步都能升级到 target，而 BoN/beam 主要在小模型候选空间内扩宽，所以差距可解释为“纠错来源更强”，不只是搜索宽度更大。

8.2 验收函数层：二值门控在同量级成本下最好

图 6（PDF p.7）在相近成本下报告 constant、binary、clipping、sigmoidal、logistic 五种权重的 MATH‑500 准确率分别为 77.6、84.6、81.8、81.4、79.2。Binary 比 constant 高 7.0 pp。逻辑是连续权重会让中等质量步骤随机通过，而二值门控把有限 draft 配额集中在 PRM 排名最高的步骤；但该结论只在一个主基准 / 一组模型上验证，没有跨 PRM 校准重复。

8.3 阈值敏感性：0.7 是峰值附近，不是普适常数

附录表 B.2（PDF p.16）给出固定阈值扫描：

在已测网格中 0.7 最好，但 7B 平均峰谷仅 0.7 pp，72B 为 1.1 pp；缺少种子方差，不能确认这些差值超过抽样噪声。更关键的是通用 Qwen 表中，固定 7B PRM 的平均 59.4 低于 target 59.9，而任务优化阈值变为 62.1（表 2）。所以固定阈值的可迁移性并未闭合。

8.4 难度相变：路由份额随题目变难而连续变化

MATH Level 1→5 的 draft-only 整题比例依次为 84%、67%、58%、44%、19%；target involvement 带来的准确率增益依次 +4.7、+5.6、+6.7、+16.4、+15.7 pp（附录图 B.1，PDF p.17）。Level 3→4 是最明显转折：draft-only 再降 14 pp，而 target 增益跳 9.7 pp。这支持 difficulty-aware routing，却也暴露全局阈值的粗糙——更好的控制器应显式估计“当前步风险 × 剩余预算”。

8.5 PRM 规模与模型合并

表 5（PDF p.8）中，Skywork PRM 1.5B/7B 的平均是 65.9/66.1，Qwen Math PRM 7B/72B 是 65.9/66.5：PRM 从 7B 放大到 72B 只增加 0.6 pp，却显著抬高驻留与计算成本。表 4（PDF p.7）把模型合并用于减少独立模型数：draft+PRM merge 为 65.0，低于分离式 1.5B PRM 的 65.9；target+PRM merge 为 66.7，高于分离式 7B PRM 的 66.1。合并是否真正降低 wall-clock 取决于 kernel、batch 与显存，论文仍未测系统指标。

9. 统计显著性：论文未报告，因此哪些话不能说

论文没有报告多随机种子均值、标准差、bootstrap confidence interval、McNemar 配对检验或显著性 p 值。主 RSD 与 SD 多为 temperature 0 的确定性解码，这减少生成随机性，却没有消除有限 benchmark 样本误差、PRM checkpoint 选择误差与阈值选择偏差。

因此可以说“论文表 2 的单次点估计中，固定阈值平均高 0.8 pp”；不能说“RSD 在总体上显著优于 target”。对 MATH‑500，84.6% 与 83.2% 约对应 423 对 416 题，只差约 7 题；没有逐题预测与配对检验，无法知道差异是否由少数题驱动。相反，AlpacaEval 的 −5.62 pp 是方向清楚的外部有效性警报，但同样不应包装为正式显著性结论。

10. 真正贡献、可复用设计与迁移潜力

RSD 最重要的贡献不是“又一种 speculative decoding”，而是把 speculation unit、verification signal、fallback model 三者解耦。token 可以换成推理步骤、代码块、工具调用或动作片段；验收信号可以是 PRM、类型检查、单元测试、约束求解器或安全分类器；fallback 可以是大模型、检索器或人工审批。这个抽象比具体的 0.7 阈值更可复用。

第二个贡献是把 quality–cost trade-off 写成接受函数优化。Proposition 2.3 说明，在 PRM 排名可信且接受预算固定时，应优先保留高奖励 draft，而不是均匀随机或线性混合。迁移到代码生成时，可令 r 为 compile/test 信号；迁移到 agent 时，可令一个“步骤”是 action+observation，验收器检查状态约束；迁移到视觉语言推理时，可令验收器同时看图像证据。

第三个贡献是暴露了 test-time scaling 的新系统边界：把大模型调用次数降下来，并不自动减少端到端延迟。三模型驻留、累计前缀 PRM 评分和串行 fallback 可能吞掉收益。下一代工作若能把 PRM head 合入 target/draft、复用 KV、批量验证多个步骤、用异步 prefetch 遮蔽 target 启动，就可能把算法 FLOPs 结论变成真实服务收益。

11. 相关工作：问题来源—遗留缺口—RSD 回应—设计传递

11.1 Fast Inference via Speculative Decoding（Leviathan et al., ICML 2023）

解决什么：小 draft 提议 token，大 target 并行验收，并用修正分布保证输出与 target 完全一致；论文报告在不改分布的前提下获得约 2–3× 加速。遗留缺口：验收要求 token-level agreement，长 CoT 中语义正确但措辞不同的步骤仍被拒。RSD 如何回应：把验收单位扩大到 reasoning step，用 PRM 判断质量。关键设计如何传递：draft/verify/fallback 的骨架被保留，但“无偏采样”被“奖励导向混合策略”替换。

11.2 BiLD（Kim et al., NeurIPS 2023）

解决什么：小模型低置信时调用大模型，大模型对近期 token 作 rollback correction。遗留缺口：小模型自身置信度不等于推理正确性，且 token rollback 仍偏局部。RSD 如何回应：引入独立 PRM，用任务相关过程奖励决定整步接管。设计传递：大小模型级联与按需 fallback 直接延续，但 gating signal 从 softmax confidence 变为 external verifier。

11.3 Let’s Verify Step by Step（Lightman et al., ICLR 2024）

解决什么：用 PRM800K 的逐步人工标注证明 process supervision 在 MATH 上比 outcome supervision 更适合定位错误；数据包含约 80 万步级标签。遗留缺口：PRM 主要被用于候选排序，而非实时算力调度。RSD 如何回应：把 PRM 变成路由器，每一步决定是否升级 target。设计传递：step-level scalar reward 是 RSD 接受函数的直接技术来源。

11.4 Math-Shepherd（Wang et al., ACL 2024）

解决什么：自动构造逐步过程监督，降低人工 PRM 标注成本，并用于验证与 PPO。遗留缺口：自动标签仍会受最终答案 / rollout 估值偏差影响，也未形成大小模型实时协同。RSD 如何回应：不重新训练 PRM，直接消费公开 PRM 做 inference-time routing。设计传递：可扩展的自动过程标签使“每步验收”在工程上可供给。

11.5 Large Language Monkeys（Brown et al., 2024）

解决什么：研究 repeated sampling 与 verifier 如何随 test-time compute 扩展，表明更多样本可显著提高问题覆盖。遗留缺口：完整序列多次采样会重复计算容易步骤，成本随 N 线性增长。RSD 如何回应：把额外计算集中在低奖励步骤，只对局部调用 target。设计传递：test-time compute 的“多采样+选择”思想被改造成串行、局部、动态分配。

11.6 非线性技术演进树

                          ┌─ repeated sampling / Best-of-N ── 序列级搜索
过程监督 PRM ─────────────┤
  ├─ PRM800K              └─ Math-Shepherd ── 可扩展步骤标签
  │                                      ╲
  │                                       ╲  步骤奖励作路由
token speculative decoding ── exact target ╲
  │                                          ├─ RSD ── reward-guided mixed policy
  └─ BiLD ── confidence fallback ────────────╱          │
                                                        ├─ GSI：补分布/KL理论
                                                        ├─ SpecReason：做实延迟系统
                                                        └─ Lookahead：步骤并行化

演进动力有三个转折：第一，从“增加训练规模”转向“分配推理时算力”；第二，从逐 token 完全一致转向步骤语义正确；第三，从单纯准确率/FLOPs 转向端到端 latency 与分布保真。RSD 正处于第二个转折完成、第三个转折尚未完成的位置。

11.7 跨论文对标

12. 论文自述限制

1. 阈值需要任务适配：附录 B.1（PDF pp.15–16）明确说明固定阈值在不同任务上可能次优，逐任务调优 δ* 可提升结果。由于测试时不知道未来任务分布，部署需要 calibration set 或在线预算控制。
2. 通用域缺少合适 PRM：§4.5 / Discussion（PDF pp.7–8）指出 AlpacaEval 只能使用 outcome reward model，作者认为专用 general-domain PRM 与调参可能改善表现；现有 18.85 仍低于 target 24.47。
3. PRM 还可与模型专门对齐：Discussion（PDF p.8）承认当前使用通用公开 PRM，而非针对特定 draft/target 误差训练的 verifier；这限制了路由质量，也使 PRM 规模成本偏高。

13. 独立批判：每点都给证据链

1. [系统有效性] 因为官方在线实现要求至少 3 张 GPU，并把 draft、target、PRM 放在三路服务中，而且每步把累计前缀重新送 PRM，所以图 4 的 4.4× FLOPs 节省不能推出 4.4× latency、throughput 或成本改善；必须实测 TTFT、每步 RPC、tokens/s、P50/P95/P99 与显存。

2. [理论适用域] 因为式 1 假设 target 的期望奖励不低于 draft，但附录表 B.1 的两个子域中 draft 分别以 75.2>72.3、48.0>46.8 胜过 target，所以命题给出的单调收益条件不覆盖全部实际子分布；理论应扩展到上下文相关的专家优势与可学习选择。

3. [超参选择偏差] 因为固定 7B PRM 在通用 Qwen 设置平均 59.4，低于 target 59.9，而逐任务 δ* 达 62.1，所以优化阈值包含明显 oracle 成分；报告 δ* 时必须与独立 calibration split 区分。

4. [外部有效性] 因为数学六项固定阈值平均只提高 0.8 pp，而 AlpacaEval 从 target 24.47 降至 18.85（−5.62 pp），所以RSD 的收益高度依赖可用且对齐的过程奖励模型，不能泛化成“通用 LLM reasoning acceleration”。

5. [统计证据] 因为论文所有主表都是单点、没有种子方差或配对显著性，且 MATH‑500 的 +1.4 pp 约等于 7 道题，所以无法判断小幅提升是否稳定；至少应公开逐题输出并做 paired bootstrap / McNemar 检验。

6. [比较公平性] 因为 Majority Vote/BoN 的 N 与 RSD 的 target 调用数不是严格固定在相同 wall-clock、能耗或 GPU 配额下，所以表 2 只能回答“这些预设配置谁高”，不能回答“同服务预算谁最优”；需要固定 FLOPs、固定显存与固定 P99 三套 head-to-head。

7. [格式鲁棒性] 因为实现把 \n\n 当作 reasoning step 边界，所以模型只要换成短行 CoT、JSON、代码、工具调用或不同 chat template，路由粒度就会变化；应比较 learned segmenter、token budget chunk 与语义边界检测。

8. [安全与分布] 因为 RSD 有意输出 reward-guided mixture 而非 target distribution，且 PRM 可能对高分模式过度奖励，所以在安全策略、校准概率与敏感内容生成中可能出现 reward hacking；需要报告 KL、拒绝原因、OOD PRM calibration 与 adversarial step tests。

14. 可操作的开放挑战：把空白写成 head-to-head 实验

14.1 理论

14.2 工程应用

14.3 新兴方向

15. 近期工作雷达（均为已验证链接）

1. Guided Speculative Inference（GSI, 2025）：arXiv:2506.04118。它直接回应 RSD 的分布保真缺口，用 reward-tilted policy 与 KL 界刻画目标；值得与 RSD 做同 reward budget、同 latency 的对照。
2. SPECS（2025）：arXiv:2506.15733。小模型草拟推理、动态切换以减少 test-time scaling 成本；更接近服务决策，但仍需独立验证阈值迁移。
3. Scaling Speculative Decoding with Lookahead Reasoning（2025）：arXiv:2506.19830。把 token speculation 与步骤级 lookahead 叠加，报告 SD 峰值从 1.4× 提至 2.1×；它把 RSD 的串行步骤路由推进到并行未来步骤。
4. SpecReason（NeurIPS 2025）：arXiv:2504.07891。公开摘要报告相对 vanilla LRM 1.5–2.5× speedup、准确率 +1.0–9.9%，并给出真实 latency；它是验证“语义级 speculation 能否落地成系统收益”的关键对手。
5. Speculative Streaming（EMNLP 2025 Main）：ACL Anthology。用 multi-stream attention 在一次 forward 中同时验证既有 token 与猜未来 token，代表“不额外驻留独立 draft server”的另一条系统路线。
6. SpecGuard / From Tokens to Steps（2026）：ACL Anthology 近期检索入口。把投机验收从 token 提升到步骤并强调质量守卫；应重点看它是否补齐 RSD 未报告的 P99 与错误接受分解。
7. HeteroSpec（2026）：ACL Anthology 近期检索入口。关注异构大小模型协同；若给出跨设备调度，它将直接触及 RSD 三服务驻留的系统瓶颈。
8. Calibrated Speculative Decoding（2026）：ACL Anthology 近期检索入口。核心价值在校准验收而非追求单点阈值；与 RSD 的 `δ=.7` 对比应同时报告 ECE、调用率误差与 OOD 性能。

16. 结论

RSD 提出了一条真正有迁移价值的设计：把小模型输出视为可被外部 verifier 接受的工作，而不是必须与大模型逐 token 一致的猜测。在 Qwen2.5‑Math‑7B 上，固定阈值把六项平均从 65.3 提至 66.1；在 72B MATH‑500 上从 85.6 提至 88.0，并按论文代理节省 4.4× FLOPs。可复用的是步骤级路由抽象，而不是“0.7”这个常数。

当前证据仍停在算法层：三模型服务、full-prefix PRM 评分、无 wall-clock/P99、无多种子统计，使“高效”还未完成系统闭环。最关键的下一步不是再多一个数学基准，而是在同准确率、同硬件、同并发下与 target-only、token SD、GSI、SpecReason 比 P99、能耗与显存，并同时测试 OOD PRM 校准。若这一关过了，RSD 才可能从一篇聪明的推理算法论文变成可靠的在线服务策略。

脚注：数字与索引状态。 所有实验数字均注明论文表号、图号或 PDF 页码；论文未报告的方差、延迟、吞吐、P99、能耗与 GPU-hours 均明确保留为空，不作补造。ml-report-index.md 已在本轮追加核心论文、领域、venue 与一句话结论。