ReActR

4.1 数据单元

令题目为 $x$，学生初始轨迹为 $y^{(0)}$，答案判定器为 $V(x,y)\in\{0,1\}$。对错误轨迹，教师生成结构化反思：

$$z=(c,\ell,e,y^{(1)},g),$$

其中 $c$ 是六类错误标签，$\ell$ 是错误发生位置，$e$ 是错误如何传播的解释，$y^{(1)}$ 是修正轨迹，$g$ 是可迁移的 lesson。训练样本可写为 $(x,y^{(0)},z)$。对正确轨迹，数据仍保留“确认正确”的反思回合，防止模型形成“一反思就推翻”的偏差。

监督阶段优化标准自回归负对数似然：

$$\mathcal L_{\text{SFT}}(\theta)=-\sum_{(x,s)\in\mathcal D}\sum_t \log \pi_\theta(s_t\mid x,s_{<t}),$$

其中 $s$ 串接初始推理、反思、修正与总结。论文没有给出新的 SFT 方程；上式只是对其已描述训练过程的标准形式化。

4.2 五种奖励状态

记 $a_0=V(x,y^{(0)})$，反思判断 $d\in\{\text{correct},\text{wrong}\}$，修正后答案为 $a_1=V(x,y^{(1)})$。Figure 6 给出五种情形：

可把它写成：

$$r=\mathbb 1[a_0=1,d=\text{correct}] +0.3\,\mathbb 1[a_0=0,d=\text{wrong}] +0.7\,\mathbb 1[a_0=0,d=\text{wrong},a_1=1].$$

这一定义揭示了一个容易忽略的性质：正确答案被正确确认与错误答案被完整修复同为 1.0，所以奖励鼓励的是任务成功状态，不是“越多反思越好”。但它也没有区分高置信正确与侥幸正确，没有对反思文本的因果忠实度打分。

4.3 GRPO 的组内比较

论文说明每题采样 5 个响应、训练 3 epochs、固定学习率 $10^{-6}$，使用 verl 运行 GRPO（Appendix A.2，PDF p.11）。论文未写出完整目标；可依据 GRPO 的标准做法把作者描述形式化为：对同一题的 $G=5$ 个响应，先做组内标准化优势

$$\widehat{A}_i=\frac{r_i-\mu_r}{\sigma_r+\epsilon},$$

再用裁剪比率 $\rho_i=\pi_\theta(y_i\mid x)/\pi_{\theta_{old}}(y_i\mid x)$ 优化

$$J(\theta)=\frac{1}{G}\sum_i \min\left( \rho_i\widehat{A}_i, \mathrm{clip}(\rho_i,1-\varepsilon,1+\varepsilon)\widehat{A}_i\right) -\beta\,\mathrm{KL}(\pi_\theta,\pi_{ref}).$$

这段是对流程的标准化重述，不是 ReActR 论文逐字给出的方程。论文没有报告 $\varepsilon$、$\beta$、KL 实现细节或它们的敏感性，因此不能据此复现完整 GRPO 配置。

4.4 伪代码

输入：MATH、GSM8K 题目；学生 Qwen3-4B；教师 Gemini 2.5 Pro
1  学生以 temperature=0.6 采样初始推理，保留真实错误
2  教师在 MATH level 3–5 定向合成 QM/CC/CA 等困难错误
3  对每个错误：标类型 → 定位首个关键错误 → 分析传播
                  → 生成修正轨迹 → 总结 lesson
4  混合 25K 错误—修正样本与 25K 正确轨迹
5  用 LoRA 做 4 epochs SFT
6  每题采样 5 个响应，按五状态奖励计算组内优势
7  用 GRPO 训练 3 epochs
输出：能确认正确、发现错误并修正的推理模型

7.1 Qwen3-4B

来源：核心论文 Table 2（PDF p.7 / 会议页 43023）。相对最强对照 LEMMA，ReActR 在五个单项上分别增加 4.5、5.2、6.8、5.3、2.9 pp，Overall 增加 4.9 pp / 9.35%。相对普通 SFT，Overall 增加 14.9 pp / 35.14%。

7.2 Mistral-7B

来源：Table 2（PDF p.7）。相对 LEMMA，五个单项增加 3.9、4.8、3.3、5.8、0.3 pp，Overall 增加 3.6 pp / 12.08%。相对 SFT，Overall 增加 13.6 pp / 68.69%。这里相对百分比很大，部分原因是 Mistral 的 SFT 基数只有 19.8；不应把 68.69%误读成绝对能力接近翻倍。

7.3 Llama3-8B

来源：Table 2（PDF p.7）。相对 LEMMA，五个单项增加 4.7、2.8、4.4、4.1、1.2 pp，Overall 增加 3.5 pp / 9.80%；相对 SFT，Overall 增加 13.5 pp / 52.53%。

7.4 跨骨干结论

ReActR 在三种骨干、15 个“模型 × 单项基准”格子全部高于 LEMMA，这是比单一平均值更扎实的稳定性证据。但这种一致性仍不是统计显著性：同一训练数据和教师信号可能给三种骨干带来同方向偏差，论文又没有多随机种子。定量上，ReActR 对 LEMMA 的 Overall 优势在 3.5–4.9 pp；这比它对普通 SFT 的 13.5–14.9 pp 小很多，说明相当一部分收益来自“更好的数学训练数据”这一大类因素，而非只有 ReActR 特有的分段奖励。

8.1 数据设计与 RL 消融

论文在 Qwen3-4B 上给出下表（Table 3，PDF p.7 / 会议页 43023）：

最有信息量的不是“每个模块都有效”这句常规结论，而是三个非线性现象。第一，Out-Both 在 MATH 上比完整模型低 19.4 pp，损失大于单独移除错误类型（9.5）或难度（5.4）之和 14.9 pp，说明两种课程信号可能互相放大；但没有多种子，不能断言这 4.5 pp 差额是稳定交互效应。第二，All-Error 直接失败，说明“错误有价值”不等于“错误越多越好”；25K 正确轨迹承担锚定正确策略的作用。第三，去掉 GRPO 仍达 88.4 / 62.1，说明大部分提升在 SFT 阶段已经建立；GRPO 提供额外 2.7 / 3.6 pp，而不是全部收益来源。

8.2 数据规模曲线

Figure 7a（PDF p.7）展示 augmented data 从 10K 增至 50K 时 GSM8K 与 MATH 总体上升，MATH 的上升更明显。图中没有逐点数字标签，因此本文不伪造精确矩阵；只能可靠推出在作者测试范围内尚未明显饱和。Figure 7c 还显示混入更多 MetaMath 数据后平均性能上升，但同样只给图形、无精确表格。这支持“高质量正确轨迹仍能补充错误课程”，却无法计算每 1K 样本的边际收益。

8.3 错误分布变化

Figure 7b 显示增强前后 QM 与 CA 的占比下降，而 CC 与 Others 上升。作者解释为定向合成补充了更复杂概念错误。由于柱状图没有精确数值标签，本文仅保留方向性结论。它提示数据策展不是简单复制自然错误频率，而是主动改变错误分布；相应风险是该分布可能更接近 Gemini 2.5 Pro 的“教学想象”，不一定等于真实用户失误。

8.4 超参数敏感性

论文未报告。 奖励拆分固定为 0.3（识别）+0.7（纠正），但没有比较 0.1/0.9、0.5/0.5 或连续评分；GRPO 的组大小固定为 5，没有组大小曲线；SFT 学习率 $10^{-5}$、GRPO 学习率 $10^{-6}$、4 / 3 epochs、temperature 0.6 都未做敏感性分析。故不能判断方法是否对奖励比例、采样温度或训练长度脆弱，也不能确认 0.3/0.7 是机制上合理还是单点调参结果。

8.5 相变判断

有两个“相变候选”，但证据强度不同。All-Error 失败显示数据混合从“有正确锚点”跨到“全错误”时出现训练崩溃，这是定性相变；但作者没有扫描 10%、25%、50%、75%、100% 错误比例，因此阈值未知。数据规模 10K→50K 的曲线没有显示突变，只显示持续增益，故不能宣称存在规模相变。

10.1 真正贡献

第一，错误被提升为课程单元。 以前很多方法要么在推理时反复自评，要么在训练时用错误答案当负例。ReActR 把错误类型、难度和传播分析串成数据策展回路，使错误不只是“负标签”，而是决定训练覆盖的控制变量。

第二，奖励把诊断与修复拆开。 错误识别成功但修正失败仍得 0.3，这让部分正确的内部决策获得学习信号。虽然奖励仍粗糙，但它比“最终答案全有或全无”更接近反思的分阶段结构。

第三，正负轨迹混合成为必要条件。 All-Error 失败而 All-Correct 明显落后，说明可复用的设计不是“喂错误”，而是让正确轨迹稳定基本策略、错误轨迹塑造恢复策略。这个结论比某个特定错误标签更值得迁移。

10.2 可复用模块

1. 错误本体 + 配额采样。 对代码可对应到语法、类型、边界、算法、复杂度、工具调用错误；对 Agent 可对应到观察遗漏、计划冲突、工具选择、状态更新与停止错误。
2. 首错定位。 与其整段重写，先找到最早导致后续偏离的决策点；这可减少信用分配跨度。
3. 反思 lesson。 让修正后输出一条未来可检索的规则，便于构建 episodic memory 或错误簿。
4. 分段可验证奖励。 当任务有单元测试、定理检查器、模拟器状态或数据库约束时，可分别奖励识别、修复和最终完成。
5. 正误混合课程。 保持正确策略的锚点，再逐步提高困难错误比例，避免只学会怀疑。

10.3 迁移潜力

迁移到代码最直接，因为单元测试可同时验证初始与修正版本；但需避免模型通过删测试或硬编码投机。迁移到工具 Agent 时，可把“错误传播”定义成错误工具调用如何污染后续状态，并用环境回滚验证修复。迁移到科学问答较难，因为最终答案可能不可自动判定；需要引文一致性、单位检查、符号约束或外部模拟器，不能照搬数学答案匹配。迁移到开放式写作最弱，因为“纠正”缺少客观验证器，教师偏好会主导奖励。

11.1 Self-Refine：从推理时自反馈到可训练反思

解决什么。 Self-Refine 让同一模型生成、反馈并迭代改写，无需额外训练；论文报告在 7 类任务上平均约 20% 绝对提升（NeurIPS 2023 正式工作）。
遗留缺口。 它主要发生在推理时：模型是否能可靠识别错误、何时停止，以及反馈是否真的对应首个关键错误，没有训练级保证。
ReActR 如何回应。 ReActR 把“生成—反馈—修正”下沉到后训练数据，并用答案验证器奖励错误发现与最终修正。
设计如何传递。 Self-Refine 的迭代回路传递为 ReActR 的多轮样本结构，但 ReActR 增加错误本体、混合课程与 RL 信号。

11.2 RefAug：从“答案之外”学习反思说明

解决什么。 RefAug 为指令数据附加反思与扩展信息，使模型不只模仿答案，还学习解题后的解释与替代思路。
遗留缺口。 通用反思增强未明确控制错误类型和难度，也没有把“识别错误”和“修正错误”拆成奖励。
ReActR 如何回应。 它用六类错误和 MATH level 3–5 定向采样，明确覆盖难错，并把 RefAug 作为 30K 基线；Qwen Overall 47.6 对 57.3，差 9.7 pp（Table 2）。
设计如何传递。 “答案后再学习一层元信息”被保留，但元信息从泛化反思改为首错定位、传播与 lesson。

11.3 LEMMA：从错误修正数据到类型—难度课程

解决什么。 LEMMA 系统利用错误解答及纠正进行数学推理训练，是与 ReActR 最直接的技术前身。
遗留缺口。 错误样本如果不按类型和难度策展，容易被频繁、浅层错误主导；仅监督纠正也无法单独奖励“发现错误”。
ReActR 如何回应。 它增加错误分类与困难度导向，再叠加 GRPO。三种骨干 Overall 均高于 LEMMA：Qwen +4.9、Mistral +3.6、Llama +3.5 pp（Table 2）。
设计如何传递。 LEMMA 的错误—纠正轨迹成为数据骨架；ReActR 加入课程控制与分段奖励。与此同时，LEMMA 用 60K、ReActR 用 50K，使结果兼具一定样本效率信号，但不是严格算力匹配实验。

11.4 DeepSeek-R1：从可验证结果奖励到反思专用奖励

解决什么。 DeepSeek-R1 表明大规模 RL 可从可验证数学与代码奖励中涌现长链推理与自检行为。
遗留缺口。 只看最终正确与否的稀疏奖励难以区分“发现错误但没修好”与“根本没发现”，信用分配跨度长。
ReActR 如何回应。 它显式给错误识别 0.3、最终修正 0.7，并对正确答案的正确确认给 1.0。
设计如何传递。 可验证结果 RL 的框架被保留，但奖励结构围绕反思状态机重新设计；代价是依赖 gold answer，开放域迁移受限。

11.5 非线性技术演进树

                         ┌─ Self-Refine：推理时生成→反馈→改写
                         │          └─ 多轮反思格式 ──────────┐
传统正确轨迹 SFT ────────┼─ RefAug：答案之外的元信息 ─────────┤
                         │                                    ├─ ReActR
错误轨迹学习 ────────────┼─ LEMMA：错误→纠正监督 ─────────────┤   ├─ 六类错误
                         │          └─ 纠错数据骨架 ──────────┤   ├─ 类型×难度课程
可验证结果强化学习 ──────┴─ DeepSeek-R1：最终答案奖励 ───────┘   └─ 0.3识别+0.7修正

技术转折不在“模型第一次会反思”，而在三条支线汇合：推理时自我改写提供交互形态，错误纠正数据提供监督载体，可验证 RL 提供优化机制。ReActR 的新增量是用错误类型与难度连接数据策展和奖励设计。

11.6 跨论文对标

14.1 理论

错误轨迹为何有额外信息？ 做严格 head-to-head：固定题目、token 数、教师和最终正确解，把 50K 数据分为（A）正确解重复、（B）随机错误+正确解、（C）真实错误+正确解、（D）类型配额错误+正确解。比较样本复杂度与错误检测互信息，验证收益来自“决策边界信息”还是单纯更长文本。

奖励分解是否可识别？ 固定 SFT checkpoint，比较 final-only、0.1/0.9、0.3/0.7、0.5/0.5、learned critic 五种奖励。除最终正确率外，测错误检测 AUPRC、条件修正率 $P(a_1=1\mid a_0=0,d=wrong)$ 与过度翻案率。只有这样才能判断 0.3 是否有机制意义。

正误混合的崩溃阈值。 将错误比例从 0% 扫到 100%，每 10% 一档、每档 3 seeds；画能力、校准和训练稳定性曲线，直接定位 All-Error 失败前的临界区，而不是只比较两个端点。

14.2 工程与应用

等算力对照。 让 ReActR、LEMMA、RefAug 和正确轨迹 SFT 使用相同 50K 样本、相同总 token、相同 LoRA rank、相同 GPU 时数；同时报告训练成本与 Pass@1。当前不同样本量使样本效率和方法增益混在一起。

服务级价值。 在相同准确率目标下，比较无反思、固定一次反思、置信触发反思、ReActR 四种策略的平均输出 token、P50/P95 延迟、能耗与成本；重点测试“只在可能错误时激活”能否抵消多轮开销。

代码迁移。 在 HumanEval+、MBPP+、SWE-bench Verified 的可复现子集上，对比 final-only RL、unit-test error taxonomy 和 ReActR 风格首错定位；奖励必须防止篡改测试。看收益是否落在 compile error、logic error 或 repository navigation 的不同层级。

14.3 新兴方向

工具 Agent 的可回滚反思。 在 WebArena 或 τ-bench 中记录首个错误工具调用，比较“完整重启”“状态回滚到首错”“文本反思但不回滚”。以任务成功、额外调用数和状态污染深度为指标，检验错误传播分析是否真能缩短恢复路径。

过程验证器联合训练。 将 ReActR 与独立 process reward model 做 head-to-head：相同 rollout 数下，比较最终答案奖励、步骤奖励、两者组合；用人工标注子集评估 verifier 是否只是复制教师偏差。

复合错误的迭代纠正。 构造每题含两个已知错误的诊断集，比较单轮 dominant-error 修正与最多三轮的逐错修正。指标应包含首错定位、第二错暴露率、累积成功率与 token 开销，直接回应作者自述限制。