RGM：把生成与过程验证压进同一模型

一句话核心定位：《Test-Time Scaling with Reflective Generative Model》把策略模型与过程奖励模型（PRM）共享为一个骨干，只增加 5M–54M 的轻量 SPRM 头，并用“结果正确性 × 自身伪标签一致性”过滤噪声，使同一网络同时负责推理轨迹生成与轨迹选择。

• 日期：2026-09-28
• 轮转领域：LLM/NLP——推理、test-time scaling、post-training、评测
• 核心论文：Zixiao Wang et al., Test-Time Scaling with Reflective Generative Model, ICLR 2026 Poster
• 论文终稿：https://proceedings.iclr.cc/paper_files/paper/2026/hash/c1e854c0620b13668b93058455c7b183-Abstract-Conference.html
• 报告口径：除明确标注“本报告计算”的差值、相对变化外，所有数字均来自实际读取的论文表格、正文或公开模型卡；缺失项不推测。

0. 检索、去重与随机选择审计

0.1 最近 14 天去重

先读取 ml-report-index.md。最近 14 天内与本日轮转最接近的已覆盖工作是 2026-09-14 的 ThinkSLM（小模型推理与压缩评测）和 2026-09-21 的 HPS（偏好优化与 hardest-negative 采样）；因此本次排除这两篇及“压缩后推理能力矩阵”“偏好数据困难负例采样”两个主题。RGM 聚焦外部测试时扩展、过程验证器与共享骨干，不与上述深度覆盖重复。

0.2 候选池与来源覆盖

候选池以 ICLR 2026 正式 proceedings 为主干，并用 arXiv、OpenReview、Hugging Face Daily Papers、Papers with Code 与 Semantic Scholar 进行补充核验。Semantic Scholar 的 arXiv API 链接本次实际访问返回 403，故只记为“访问失败”，不将其元数据用于任何定量结论；Papers with Code 未检索到核心论文独立条目，但检索到来源链论文 Math-Shepherd。ACL Anthology用于核验 ACL 2024 长文 Math-Shepherd。以下 24 篇均在 24 个月窗口内，且候选标题及正式页面已逐条打开或由同批 proceedings 结果验证：

1. The End of Manual Decoding: Towards Truly End-to-End Language Models
2. Language Models are Injective and Hence Invertible
3. Plan and Budget: Effective and Efficient Test-Time Scaling on Reasoning Large Language Models
4. Language Models Use Lookbacks to Track Beliefs
5. Sequences of Logits Reveal the Low Rank Structure of Language Models
6. Soft-Masked Diffusion Language Models
7. On Predictive Power of Representation Dispersion in Language Models
8. Comparing Learning Dynamics of In-Context Learning and Fine-Tuning in Language Models
9. Do Large Language Models Know What They Are Capable Of?
10. Native Reasoning Models: Training Language Models to Reason on Unverifiable Data
11. SynthWorlds: Controlled Parallel Worlds for Disentangling Reasoning and Knowledge in Language Models
12. R-Horizon: How Far Can Your Large Reasoning Model Really Go in Breadth and Depth?
13. Log-Augmented Generation: Scaling Test-Time Reasoning with Reusable Computation
14. e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs
15. RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs
16. Understanding the Role of Training Data in Test-Time Scaling
17. Are Reasoning LLMs Robust to Interventions on their Chain-of-Thought?
18. Test-Time Scaling with Reflective Generative Model
19. MoDr: Mixture-of-Depth-Recurrent Transformers for Test-Time Reasoning
20. ATTS: Asynchronous Test-Time Scaling via Conformal Prediction
21. TrimR: Verifier-based Training-Free Thinking Trimming for Efficient Test-Time Scaling
22. Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs
23. Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity
24. OpenThoughts: Data Recipes for Reasoning Models

实际执行 shuf -i 1-24 -n 1 得到 18，即 RGM。论文正式终稿有 18 页、五个主评测集、64 次重复评测、完整的主表和 11 组消融/附录对照，资料充足，因此 重抽次数为 0。

1. 链接验证表

版本警报。 arXiv v2 摘要仍称额外参数为 53M，而 ICLR 终稿主表按基座分别报告 5M、26M、54M、54M、17M，正式摘要概括为约 50M。这不是可忽略的排版差异：它改变了“轻量头相对 72B 奖励模型节省多少参数”的精确倍率。下文以 ICLR 终稿的逐模型数字为主，并把 53M 仅视为旧版 MetaStone-S1 口径。[arXiv abs lines 8–27；核心论文 Table 1, PDF p.6]

2. Motivation：为什么“多采样”仍不等于有效扩展

外部 test-time scaling 的基本套路是：策略模型生成 (k) 条完整推理轨迹，奖励模型为它们打分，再选择最高分答案。问题有三层。

第一，验证器本身可能比策略模型还重。核心论文的对照是 Qwen2.5-Math-RM/PRM-72B，而 RGM 的 SPRM 头只有 5M–54M；如果每个候选还要经过一遍独立 72B 验证器，所谓“测试时扩展”会把推理计算和部署内存重新推回大模型级别。[核心论文 Sec.1, PDF pp.1–2；Table 1, p.6]

第二，过程标注昂贵且不可靠。PRM800K 过滤后仍需约 800K 步级人工标签，覆盖 75K 解答和 12K 题目；虽然其大模型 PRM 在特定 MATH 子集达到 78.2%，但这一路线把验证质量建立在人力过程审阅上。[Let’s Verify Step by Step, arXiv HTML lines 23–30, 52–55, 171]

第三，只看最终答案会污染过程标签。Math-Shepherd 通过从中间步继续采样、以最终答对比例估计该步质量，免去人工标注；但 Lessons of Developing PRMs 随后指出，MC 标签可能把“过程错、答案对”的轨迹当成好过程，并发现除其自家 Qwen2.5-Math-PRM 外，多数开源 PRM 的错误步检测准确率低于 50%。换言之，Best-of-N 的最终正确率可以升高，验证器却未必真正学会了找逻辑错误。[Math-Shepherd PDF pp.1–2；Lessons, Sec.3, arXiv HTML lines 95–125, 178–179]

RGM 的问题设定因此不是“怎样再造一个更强 PRM”，而是：能否让策略模型利用自己的隐藏状态，附着一个极轻的过程评分头，并只在自身过程判断与最终结果一致时学习，从而降低错误结果标签向每一步传播的噪声？

3. 论文故事线、假设与权衡

论文故事线可分四步：

1. 统一接口。 生成头与 SPRM 共享同一 Transformer 骨干；评分不再由独立 LLM 再做一次前向，而是读取策略前向中第二倒数层的 step-token 隐状态。
2. 自监督过滤。 最终答案正确性 (y) 只提供轨迹级弱标签；每步由当前 SPRM 产生伪标签 \hat y_n。只有 (y=\hat y_n) 的步骤参与 BCE，冲突步骤被丢弃。
3. 长度去偏。 用各步分数的几何平均作为轨迹分数，避免直接乘积随步骤数指数衰减。
4. 推理扩展。 同一模型采样 (k) 条思维，SPRM 对每条评分，选最高分思维后由策略头输出答案；主实验 (k=8)。

隐含假设 A 是“第二倒数层隐藏状态保留足够完整的过程质量信号”。Table 9 支持它：在 DeepScaleR-1.5B 上，SPRM 接第二倒数层的 AIME24 为 53.1，接最后层只有 48.8，提升 4.3 pp；HMMT25 为 21.5 vs 18.8，提升 2.7 pp。[核心论文 Table 9, PDF pp.13–14]

隐含假设 B 是“早期伪标签虽噪，但一致性过滤能使正确/错误轨迹分数最终分离”。Figure 5 将“正确轨迹曲线斜率转正且错误轨迹曲线斜率转负”的首个训练步定义为 aha moment；QwQ-32B 约在 60 steps 出现，作者因此额外训练 60 steps，总计 140 steps。[核心论文 Sec.5.4, PDF p.8]

隐含假设 C 是“共享骨干带来的参数与前向节省，胜过多任务干扰”。Table 8 提供了最关键反证：独立 RGM8 使用额外 1.5B 参数，在四个数学基准都比共享 5M 头高 0.6–1.6 pp；因此共享不是精度最优，而是效率—精度折中。[核心论文 Table 8, PDF p.13]

4. 方程级形式化

设问题为 (Q)，策略模型产生 (k) 条思维轨迹 (\tau_i)。外部 TTS 的传统形式是：

[ i^=\arg\max_{i\in{1,\dots,k}} R_\phi(\tau_i),\qquad a=G_\theta(Q,\tau_{i^}), ]

其中 (G_\theta) 与 (R_\phi) 是两套大模型。RGM 改为共享骨干 (H_\theta)，只把输出分成生成头和轻量评分头：

[ h_{i,n}=H_\theta^{(L-1)}(\tau_i)[t_{i,n}], ]

[ s_{i,n}=\sigma\bigl(W_2,\mathrm{Dropout}{0.5}(\mathrm{ReLU}(W_1h{i,n}))\bigr), ]

其中 (t_{i,n}) 是第 (n) 个 step-token，(W_1:c\rightarrow2c)，(W_2:2c\rightarrow1)。英文数学推理以包含 .\n\n 的 token 切步；连续 step-token 只保留首个，轨迹开头的 step-token 被忽略。[核心论文 Sec.4.1, PDF pp.3–4]

轨迹分数使用几何平均：

[ S_i=\left(\prod_{n=1}^{N_i}s_{i,n}\right)^{1/N_i} =\exp\left(\frac{1}{N_i}\sum_{n=1}^{N_i}\log s_{i,n}\right). ]

后一个等价形式揭示其本质：它比较平均 log-score，而非让长轨迹因多乘若干个小于 1 的概率而天然吃亏。Table 3 中，直接乘积在 AIME24/AIME25/BRUMO25/HMMT25 为 44.2/31.1/40.0/17.9，几何平均为 53.1/35.7/43.2/21.5；最大提升为 AIME24 的 8.9 pp。[核心论文 Eq.5 与 Table 3, PDF pp.4, 8]

SPRM 的关键不是普通 BCE，而是掩码 BCE：

[ \hat y_{i,n}=\mathbb{I}[s_{i,n}>0.5],\qquad \mathcal{L}{SPR}=\frac{1}{N}\sum_n\mathbb{I}[y_i=\hat y{i,n}],\mathrm{BCE}(s_{i,n},\hat y_{i,n}). ]

当最终答案正确但某步当前被模型判为错，或最终答案错误但某步当前被判为对时，这一步不更新。这个目标不会“证明”伪标签正确；它只是避免把明显冲突的轨迹级标签强压到所有步骤上。

4.1 训练与推理伪代码

for question Q, gold answer a*:
    trajectories = policy.sample(Q, group_size)
    outcome y_i = exact_match(final_answer_i, a*)
    GRPO_update(policy, trajectories, y)

    for each trajectory i:
        steps = split_by_step_token(trajectory_i)
        for each step n:
            h = penultimate_hidden_state(step_token_n)
            s = SPRM_head(h)
            pseudo = 1[s > threshold]
            if pseudo == y_i:
                BCE_update(SPRM_head, s, pseudo)

inference(Q, k=8):
    sample k complete thoughts
    score each thought by geometric_mean(step_scores)
    select argmax score
    generate final answer conditioned on selected thought

注意：论文说“联合训练”，但策略的 GRPO 与 SPRM 的掩码 BCE 是两种并行目标，不等于评分头的梯度一定通过采样选择反向影响策略；论文没有给出完整总损失权重或梯度耦合消融，因此不能据此断言端到端联合目标优于交替训练。

5. 关键机制与工程细节

6. 数据集、基准与指标

训练集从 NuminaMath、OpenR1-Math-220k、DeepScaleR、LIMR、OREAL-RL 汇总，经 MATH 难度分类器过滤简单题，再按 pass rate 采样，最终 40K 样本。论文没有给出各源数据占比、去重规模或与 AIME/HMMT/BRUMO 的污染检查，因此训练数据的“40K”只能说明数量，不能证明评测独立性。[核心论文 Sec.5.1, PDF p.5]

这里“Pass@1”容易误解：每个配置对问题重复采样并取 64 次平均，但单次运行最终只提交一个经 RGM 选择的答案；它不是传统 pass@k 的“任一候选答对即成功”。[核心论文 PDF pp.5–6, lines 324–374]

7. 完整主结果矩阵

7.1 六方法 × 五基准：以 QwQ-32B 为公平主干

来源：核心论文 Table 1（PDF p.6）。粗体按两组理解：在同基座 QwQ 四行中 RGM 五项全优；若把外部闭源/671B 参考也纳入，RGM 仅在 AIME24 与 HMMT25 为全表最佳。相对同基座 PRM-72B，RGM 的绝对提升为 +0.9/+1.1/+1.6/+1.4/+1.0 pp，相对提升为 +1.08%/+1.52%/+2.09%/+2.71%/+1.59%（本报告据表计算）。相对 o3-mini，RGM 在 AIME24 为 +4.6 pp、HMMT25 为 +0.1 pp，但 AIME25/BRUMO25/LiveCodeBench 分别低 1.4/1.9/3.4 pp；因此“超过 o3-mini”只在两个列成立，不能泛化为整体领先。

7.2 五种策略骨干：RGM 对各自最强 72B 奖励模型

单元格为 RGM 分数（相对同基座更强的 RM-72B/PRM-72B：绝对 pp；相对 %）。

来源：核心论文 Table 1（PDF p.6）；相对百分比为本报告计算。RGM 在 25 个架构×任务格中有 23 个优于同基座最强 72B 奖励模型，失败格是 Qwen3-32B/HMMT25（−0.4 pp）与 GPT-OSS-20B/AIME24（−0.3 pp）。这比“consistently surpasses”更精确：总体稳定，但非逐格支配。

8. 逐层消融：收益到底来自哪里

来源依次为核心论文 Tables 2–5、7–13（PDF pp.8–15）。最值得注意的不是某一项最大增益，而是三条互相制约的结论：过程级信号确有用；共享骨干牺牲约 1 pp 精度换巨大参数节省；固定阈值和两层头只是稳妥默认值，而非所有任务最优。

9. 超参敏感性与“相变”

9.1 候选数 (k)

Figure 3 表明 1.5B 与 7B 在 AIME24、AIME25、LiveCodeBench 上随候选数增加而上升，且 SPRM 曲线通常高于 72B RM/PRM；但 PDF 文本没有给出各 (k) 的精确坐标，故本报告不从图像补造数值。主表只报告 (k=8)，Appendix 的 RGM32 只在 SPRLoss 对照中出现。可以推出“更多候选通常有收益”，不能推出 RGM 在同等 FLOPs、同等延迟下仍优于 72B PRM。

9.2 搜索预算

MCTS 的 AIME24 从 0 token 的 43.8 增至 160K token 的 52.8，五个点单调上升，但边际收益为 +5.0、+1.2、+1.7、+1.1 pp，首 40K 最划算，之后明显递减。[Table 5, PDF p.9] 论文自己承认树搜索在长推理上深度过大、计算开销高，最终仍低于 BoN。

9.3 训练中的 aha moment

作者把曲线斜率符号分叉定义为相变：正确轨迹分数斜率由负/平转正、错误轨迹斜率转负。QwQ-32B 约在 60 steps 发生，因此继续训练 60 steps。问题在于，这一阈值依赖曲线平滑方式、评估批次和随机性，论文没有给置信区间或自动检测算法；所以它是有启发性的训练诊断，不是已建立的普适相变定律。

9.4 阈值与格式

阈值 0.5 的四基准平均为 38.38，mean 阈值为 37.78，median 为 37.30（本报告据 Table 7 计算），平均优势只有 0.60–1.08 分；同时 BRUMO25 上 mean 高出 hard 1.8 pp。此外，英文用 .\n\n、中文改为所有含 \n token，说明所谓“零格式微调”仍依赖人工规则迁移。

10. 统计显著性与评测可信度

论文为每题配置重复评估 64 次并报告平均准确率，这是比单次运行更可靠的做法。[核心论文 PDF p.6] 但论文 未报告标准差、标准误、置信区间、显著性检验或随机种子数量。因此：

• 可以说 QwQ-RGM 的五项均值高于同基座 PRM-72B；
• 不能说 +0.5 pp、+0.9 pp 等小差值具有统计显著性；
• HMMT25 的 +0.1 pp 对 o3-mini 更不应表述为稳健领先，因为闭源模型结果的评测协议也未必等算力；
• 23/25 格领先是方向一致性证据，但不是显著性替代品。

论文也没有提供端到端 latency、tokens/s、显存峰值、能耗或 P95/P99。所谓“99% PRM inference cost reduction”出现在模型卡，而 ICLR 正文主要用额外参数量作效率代理；在没有实机服务数据时，不应把参数节省直接等同于 99% 延迟节省。

11. 真正贡献、可复用设计与迁移潜力

真正贡献 1：验证器不必是第二个模型。 只要生成前向能暴露合适的中间隐藏状态，过程评分可以是同一骨干的辅助头。这一思想可迁移到代码执行轨迹、工具调用计划、检索链和 agent 行为序列。

真正贡献 2：弱结果标签可以通过一致性掩码减少过程污染。 SPRLoss 很简单，但把“答案对/错”从每一步的硬真值降格为“只在模型自身判断同意时使用的筛选信号”。可复用模板是：全局弱标签 (y) + 局部伪标签 \hat y + 一致性掩码。

真正贡献 3：聚合器是 TTS 的一等公民。 从乘积换成几何平均就在 AIME24 带来 8.9 pp。这说明 PRM 研究不能只比模型规模，必须把步切分、分数校准和跨长度聚合纳入统一评测。

迁移潜力。 Table 13 的 32B→1.5B 迁移用线性投影对齐维度，四项中两项超过本模型 SPRM；这提示可以训练“通用过程评分表征”，再用小投影适配新基座。更值得做的不是继续扩大独立 PRM，而是验证隐藏状态质量在不同架构、语言和任务间能否线性对齐。

12. 技术来源链：解决什么—留下什么—RGM 如何回应—设计如何传递

12.1 Let’s Verify Step by Step（ICLR 2024）

它解决的是“过程监督是否比结果监督更可靠”，用 PRM800K 的人工步级标签证明 process supervision 在特定 MATH 子集达到 78.2%，并显示主动学习使数据效率提高 2.6×。遗留缺口是 800K 人工标签成本、闭源大模型依赖和数学域局限。RGM 接受“过程分数优于最终分数”的结论，却用 outcome + pseudo-label 一致性替代人工 step labels；传递的关键设计是“每步产生可聚合分数”，但监督源从人变成模型自身。

12.2 Math-Shepherd（ACL 2024 Main Long）

它用从中间步继续 rollout 的 MC 成功率自动构造过程标签，解决人工标注瓶颈；Mistral-7B 经过程 RL 从 77.9→84.1（GSM8K）、28.6→33.0（MATH），再经验证提升到 89.1/43.5。[ACL PDF pp.1–2] 遗留缺口是每个中间步都需多次 rollout，而且“能从错误步碰巧走到正确答案”会污染标签。RGM 不做额外 MC completion，而以当前 SPRM 的二值判断过滤 outcome 标签；设计传递是“结果可作为过程弱监督”，但成本从 rollout 转为一次共享前向。

12.3 Scaling LLM Test-Time Compute Optimally（ICLR 2025）

它解决“固定预算如何分配”，指出搜索策略取决于题目难度，compute-optimal 策略相对 Best-of-N 可节省超过 4× 计算，并在部分难度上让小模型击败 14× 大模型。[正式 PDF pp.1–3] 遗留缺口是难度估计用每题 2048 samples，且论文明确未计这笔成本；模型与 PRM也不公开。RGM 选择更简单的固定 (k=8) 和共享验证头，回应“验证器成本”而非“题目级预算路由”；传递的是 proposer–verifier 抽象，但没有吸收动态预算分配。

12.4 Lessons of Developing PRMs（2025）

它解决“BoN 高分是否代表过程验证好”，发现 MC、LLM-as-judge、人工标签在 BoN 与 ProcessBench 上呈相反趋势；共识过滤只保留约 40% 数据，却可接近 LLM-as-judge 的 ProcessBench 表现。遗留缺口是仍需 72B judge 或大规模 MC。RGM 的一致性掩码可视为“单模型内生共识过滤”：全局结果与局部头一致才训练。设计传递是过滤而非盲目扩数据，但 RGM 没有用 ProcessBench 验证其过程判错能力。

12.5 ReasonFlux-PRM（NeurIPS 2025 Spotlight）

它解决长 CoT 中“trajectory 与 final response 分布不同”的问题，以 step-level + trajectory-level 监督覆盖蒸馏、RL 与 BoN；论文摘要报告平均增益为 SFT 12.1%、RL 4.5%、TTS 6.3%。遗留缺口是仍需独立 1.5B/7B PRM。RGM 将验证头压到 5M–54M，但只用单一几何平均、没有轨迹级结构编码；传递方向是将 ReasonFlux 的双粒度监督移植到共享骨干，检验是否还能保持轻量。

13. 非线性技术演进树、演进动力与转折

                         ┌─ 人工过程监督 ─ PRM800K (2023/ICLR 2024)
                         │      └─ 强过程判别；高标注成本
最终答案监督 ────────────┤
                         └─ 自动过程监督 ─ Math-Shepherd (ACL 2024)
                                ├─ MC rollout 标签；成本高、可误标
                                └─ Lessons of PRMs (2025)
                                       └─ 共识过滤 + ProcessBench 批判

Best-of-N 外部扩展 ─ Snell et al. (ICLR 2025)
       ├─ 动态难度路由：同预算选搜索策略
       └─ 验证器仍独立、难度估计本身昂贵

长 CoT 新分布 ─ ReasonFlux-PRM (NeurIPS 2025)
       └─ step + trajectory 双粒度，但仍是 1.5B/7B 外部模型

上述两支汇合 ─ RGM (ICLR 2026)
       ├─ 共享骨干 + 5M–54M 评分头
       ├─ outcome × pseudo-label 一致性过滤
       └─ 固定 k=8：解决验证器成本，尚未解决动态预算分配

演进动力经历三次转折。第一次从“最终答案对即可”转向“过程也必须可信”；第二次从昂贵人工标签转向自动弱监督，但暴露 MC 与 BoN 偏差；第三次从“做更大的独立 PRM”转向“把判别能力嵌回生成模型”。RGM 最重要的转折并非刷新某一数学榜单，而是把部署问题重新定义为：是否能复用一次生成前向中的表征完成验证。

13.1 跨论文对标

14. 论文自述限制

1. 完整轨迹延迟。 必须先生成 (k) 条完整轨迹；作者承认这会增加 latency，主实验用 (k=8)，而常见外部 TTS 可用 64–512。批并行可压 wall-clock，但不会消除总 token 和显存带宽成本。[Appendix D, PDF p.15]
2. 短推理/知识任务收益有限。 对事实问答或几乎不需要推理的任务，缺少足够 step-token 和推理轨迹，RGM 不适用；作者认为此时瓶颈是知识而非 TTS。[Appendix D, PDF p.15]
3. 绑定目标策略模型。 不同 LLM hidden dimension 不同，SPRM 不能直接跨模型应用；作者需加线性投影并单独微调轻量头。[Appendix D, PDF p.15] 虽然 Table 13 展示一次迁移，但仍不是真正即插即用。

15. 独立批判：每点采用“因为 X，所以 Y”

1. [评测效度] 因为 RGM 只以最终答案正确率和 BoN 选择评测，且没有 ProcessBench 或人工错误步定位指标，而 Lessons of PRMs 已显示 BoN 与真实过程验证能力可呈相反趋势，所以不能由 Table 1 推出 SPRM 真正理解逻辑步骤；它可能只是学到与最终成功相关的轨迹风格。
2. [统计] 因为论文虽重复 64 次，却未给标准差、置信区间或检验，而多数优势只有 0.2–1.6 pp，所以 23/25 格均值领先不能等价为逐格显著领先；尤其 +0.1 pp 对 o3-mini 几乎没有可解释余量。
3. [效率] 因为主推理仍完整生成 8 条、数学每条上限 38K token，且没有 tokens/s、TTFT、P99 或 GPU-hours，所以“轻量验证头”只证明验证器参数小，不能证明整个 RGM 服务便宜；生成成本可能远大于评分头成本。
4. [公平性] 因为 GPT-OSS-20B 温度为 1.0、其他模型为 0.6，而候选多样性会直接影响 BoN 上限，所以跨基座的 RGM收益并非完全同协议；Table 1 应优先做同基座纵向比较，而非横向排名。
5. [数据污染] 因为 40K 训练集混合多个公开数学源，却未报告与 AIME24/25、HMMT25、BRUMO25 的去重或时间切断，所以高分中无法排除题目或近重复泄漏；尤其 AIME24 早于训练论文日期，更需要污染审计。
6. [机制归因] 因为独立 RGM8 额外 1.5B 参数在四个数学集均比共享 RGM 高 0.6–1.6 pp，所以共享骨干不是精度优势来源；真正贡献是把大部分独立验证能力压缩到 5M 头，而不是证明联合表征天然更优。
7. [伪标签偏置] 因为只有 (y=\hat y) 的步骤被训练，初始模型不确定或与结果冲突的困难步骤被系统丢弃，所以一致性过滤可能形成 confirmation bias；Figure 5 的 aha moment 说明这种风险存在，但论文没有不同初始化/种子下失败率。
8. [版本与复现] 因为 arXiv v2 写 53M、ICLR 主表写 5M–54M、终稿摘要写约 50M，仓库又以 XBai o4 命名，所以模型身份与参数口径发生漂移；复现者必须以具体 checkpoint 的 hidden size 和 head 配置核算，不能把“50M”当固定常数。

16. 开放挑战：必须能做 head-to-head 的实验空白

16.1 理论

• 一致性掩码是否收敛到真过程标签？ 固定同一策略、数据和计算量，对比 SPRLoss、普通 BCE、co-teaching、置信度加权软标签；在人工 step-error 集上报告 AUROC/F1、校准误差与最终 BoN accuracy，并追踪错误伪标签随训练步的转移矩阵。
• 几何平均是否只是隐式长度正则？ 对比 product、arithmetic、geometric、min-step、learned attention aggregation，在按轨迹长度分桶后报告选择准确率；控制同一候选集合，避免生成差异混入。
• 共享表征的最优层在哪里？ 对每一层训练同参数量线性/两层头，冻结骨干，构建“层深×任务×模型”矩阵；再与独立 1.5B verifier 做等 FLOPs 对比，验证过程质量信号是否呈普适中层峰值。

16.2 工程与应用

• 真正的服务成本。 在同一 8×H200 或 8×H100 节点上比较 Majority@8、72B-PRM@8、RGM@8、RGM 动态 (k)，报告 TTFT、总延迟、P50/P95/P99、tokens/s、峰值显存、joules/query 与 accuracy；没有这张表就不能谈部署优越性。
• 早停而非完整 8 路。 同一 RGM 头比较“完整轨迹后评分”和“在线 step score 触发剪枝”，固定平均生成 token，测准确率—延迟 Pareto；特别观察错误是否集中在被过早剪枝的探索性轨迹。
• 跨语言格式鲁棒性。 在中英日韩及代码上比较手工分隔符、句法切分、学习型 boundary head；固定 checkpoint，报告 step coverage、误切率和最终性能，验证 .\n\n 规则是否为隐藏工程依赖。

16.3 新兴方向

• RGM × 动态预算路由。 直接 head-to-head：固定总 FLOPs，让固定 (k=8) 对比 Plan-and-Budget/ATTS 风格的题目级 (k\in{1,2,4,8,16}) 路由；难度估计也必须计入 FLOPs，报告每难度桶准确率与过度计算率。
• 双粒度共享验证器。 在同一骨干上比较 RGM 的 step-only 几何平均与 ReasonFlux 风格 step+trajectory 双头，固定额外参数 54M；用 ProcessBench、AIME、LiveCodeBench 同时测“找错”和“选对”。
• Agent/工具轨迹。 在可执行代码或工具调用任务上，用执行器提供稀疏 outcome reward；比较共享 SPRM、独立 verifier、纯执行结果 rerank，报告首个错误动作定位率、任务成功率和工具调用成本。

17. 近期值得跟进的 8 篇工作

1. Plan and Budget: Effective and Efficient Test-Time Scaling on Reasoning LLMs：把“想多久”变成计划与预算问题，适合与 RGM 固定 (k=8) 做等 FLOPs 对照。
2. e3: Learning to Explore Enables Extrapolation of Test-Time Compute：关注训练时学会探索，使测试预算外推；可检验 RGM 的评分头在更大 (k) 是否仍校准。
3. ATTS: Asynchronous Test-Time Scaling via Conformal Prediction：以异步与 conformal prediction 管理候选，直指固定批量采样的尾延迟问题。
4. MoDr: Mixture-of-Depth-Recurrent Transformers for Test-Time Reasoning：把额外计算放进深度递归而非并行候选，代表 internal TTS 的结构路线。
5. TrimR: Verifier-based Training-Free Thinking Trimming：用 verifier 裁剪冗余思考，正好补足 RGM 只会“选完整轨迹”、不会在线减 token 的缺口。
6. Sample Smart, Not Hard：把解码目标从似然优先转成正确性优先；若与共享 SPRM 联合，可减少无效候选而不是只在事后重排。
7. Log-Augmented Generation：复用既有计算日志扩展推理，代表“缓存/复用”而非“每次重采样”的成本路线。
8. Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility：把 sequential、leaf-level 与 prefix-level 三类扩展统一为预算化前缀树，并强调计算、重复采样与不确定性报告；它提供了审计 RGM 的更严格框架。

18. 结论：该如何读这篇论文

RGM 最值得看的不是“32B 超过 o3-mini”这一宣传性结论，而是它把外部 TTS 的系统边界改写了：验证不必是第二个大模型，过程分数可以从生成模型已有隐藏状态中读出。QwQ-32B + RGM8-54M 相对同基座 PRM-72B 在五项上提高 0.9–1.6 pp，并在 AIME24/HMMT25 达 84.2/53.1；跨五种骨干的 25 个格中有 23 格领先最强 72B 奖励模型。与此同时，独立 RGM 仍高约 1 pp、完整 8 路生成没有服务指标、过程判错没有独立基准、微小优势没有统计检验。最稳妥的结论是：RGM 证明了轻量共享 verifier 可以有竞争力，但尚未证明它在等总计算、等延迟和真实过程可靠性上全面优于独立 PRM。

脚注：已更新本地 ml-report-index.md，加入 2026-09-28、LLM/NLP、核心论文、venue 与一句话结论；持久索引替换结果以本次保存返回为准。Semantic Scholar API 本次实际访问返回 403，故未引用其任何数字。Papers with Code 未找到核心论文独立条目，已明确标注而未用替代页面冒充。