ThinkSLM：小语言模型推理能力全景审计

核心论文： Gaurav Srivastava, Shuxiang Cao, Xuan Wang. ThinkSLM: Towards Reasoning in Small Language Models. EMNLP 2025 Main，ACL Anthology 2025.emnlp-main.1659，pp. 32612–32662。
报告日期： 2026-09-14　领域： LLM/NLP（推理、post-training、评测）　证据口径： 正式 ACL 版本优先；所有复算均标为“本报告复算”。

0. 链接验证与版本审计

以下 URL 均于 2026-09-14 实际访问；“未公开/未找到”不是推断，而是当日公开页面状态。

版本风险。 正式 ACL 摘要写 72 个模型、6 个家族、17 个基准、1,000 条人工验证样本（ACL PDF pp.1, 4）；项目页仍写 14 个基准、800 条人工样本，且“Code (Will be available soon)”指向 404。更严重的是，正文 §3.3 写“3 位标注者多数投票”，附录 G（PDF p.50）又写“1 位研究生将每个判断重复三次”。因此，本报告将正式 PDF 的结果表视为最终结果，但不把其人工评测设计视为已完全可复现。

1. 候选池、排重与随机选择

先检查 ml-report-index.md：近 14 天已深读的 ATLANTIS（SFT 数据加权）、DEFAME（多模态检索取证）、Emergent Misalignment（安全微调）等不再进入本次核心候选。候选统一取自 EMNLP 2025 Main Proceedings，并以 arXiv、Hugging Face Daily Papers、Semantic Scholar 做标题/版本交叉检索；OpenReview 并非 EMNLP 正式出版入口，Papers with Code 对部分论文无稳定记录，故不把缺失视作拒绝条件。

候选共 24 篇：

1. Thinking Out Loud: Do Reasoning Models Know When They’re Right?
2. Learning Like Humans: Adaptive Difficulty Curriculum Learning and Expert-Guided Self-Reformulation
3. How Far Can LLMs Improve from Experience?
4. LaMDAgent: An Autonomous Framework for Post-training Large Language Models
5. Warm Up Before You Train: Unlocking General Reasoning in Resource-Constrained Settings
6. Table-R1: Inference-Time Scaling for Table Reasoning
7. Forget What You Know about LLMs Evaluations—LLMs Are Like a Chameleon
8. Order Doesn’t Matter, But Reasoning Does: Training LLMs with Order-Centric Augmentation
9. ThinkSLM: Towards Reasoning in Small Language Models
10. Let’s Reason Formally: Natural–Formal Hybrid Reasoning Enhances LLM Math Capability
11. CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation
12. Parallel Continuous Chain-of-Thought with Jacobi Iteration
13. Direct Judgement Preference Optimization
14. reWordBench: Benchmarking and Improving Instruction-Level Reward Models
15. Critique Fine-Tuning on One Problem Is Enough to Improve Math Reasoning
16. TokenSkip: Controllable Chain-of-Thought Compression in LLMs
17. Diverse Reasoning Paths are Better than One
18. Two Heads Are Better Than One: Test-time Scaling of Verbal Reflection
19. Diagnosing Memorization in Chain-of-Thought Reasoning, One Token at a Time
20. AdaptThink: Reasoning Models Can Learn When to Think
21. T²: An Adaptive Test-Time Scaling Strategy for Contextual Question Answering
22. A Systematic Analysis of Base Model Choice for Reward Modeling
23. From Generation to Judgment: Opportunities and Risks of LLM-as-a-Judge
24. LLMs Have Intrinsic Meta-Cognition but Need a Good Lens

执行系统命令 shuf -i 1-24 -n 1，结果为 9，即 ThinkSLM。没有重抽：正式论文 51 页、附录完整、主结果与鲁棒性表可读取，资料足以支持深度报告。

2. Motivation：真正的痛点不是“模型小”，而是比较轴混在一起

“参数更大所以推理更强”在实践中经常是伪命题，因为参数量同时携带了更多预训练数据、更强 post-training、更长输出预算以及不同评测器。ThinkSLM 的直接痛点是：现有论文常分别研究蒸馏、量化、CoT 或某个数学集，却很少把这些因素放在一个矩阵内。它于是评估 72 个模型、6 个家族、17 个基准，并把模型容量/家族、训练与架构、提示、压缩、任务域、鲁棒性列为六条轴（论文摘要与 §3.1，PDF pp.1, 3）。

这个动机有三组量化证据。

第一，同参数量的家族差远大于某些扩参收益。Qwen2.5-7B 在 GSM8K 为 91.76%，Mistral-v0.3-7B 为 55.98%，绝对差 35.78 pp，相对差 63.91%；而 Qwen2.5 从 7B 增至 14B 只增加 2.53 pp（91.76→94.29），相对 2.76%（论文 Table 3，PDF pp.5–6；百分比为本报告复算）。这说明训练配方至少与规模同等重要。

第二，常用自动评分会系统性低估小模型。在 1,000 条人工判断的验证中，lm-eval-harness 与人工的一致率仅 0.51，正则解析仅 0.36，直接答案抽取为 0.60；GPT-4-turbo 为 0.99，GPT-4o 为 0.98（Table 1，PDF p.4）。也就是说，若输出格式不稳定，测到的可能是 instruction following，而不是解题正确性。

第三，压缩并非一个单一操作。Qwen2.5-32B 的 8-bit GPTQ 将实测 GPU 内存从 125 GB 降至 33.81 GB（−72.95%），Overall 从 92.64 变为 92.65；反之，Sparse-Llama-3.1-8B 的 2:4 剪枝在 MR-GSM8K 从未剪枝的 24.2 跌到 0（Table 3, Table 8，PDF pp.5, 33；降幅为本报告复算）。因此，“小模型是否能推理”必须被改写为“哪种训练来源、哪种压缩与哪种评测定义下，哪些能力能留下”。

3. 论文故事线、假设与权衡

故事线分四步。第一步先选评分器，而不是默认 exact match：作者用人工判断作为锚，比较 lm-eval、解析器、直接答案与四个 GPT judge。第二步建立 72 模型主矩阵，分别看家族、规模、训练/架构与提示。第三步对同一模型做量化、剪枝、蒸馏比较。第四步将 GSM8K 的静态正确率推进到 GSM-Plus 扰动、MR-GSM8K 中间步骤和 MR-Ben 错误识别。

核心假设有三条：

• 若评分器与人工高度一致，则可用它扩大评测规模；代价是闭源 judge 的偏差与费用被写入指标。
• 若同一家族同一提示下改变参数量/量化位宽，性能变化可近似归因于容量或压缩；代价是社区 checkpoint、默认配置与硬件路径未被完全控制。
• 若排序任务不太可能出现在预训练语料中，它可作为算法推理的低污染代理；代价是“生成正确序列”同时要求格式遵循，并非纯算法能力。

这套设计的真正亮点是横向矩阵，而不是因果识别。它能给工程选择提供“安全区”，却不能单凭观测排行证明 18T token、RLHF、架构中的哪一个因素产生了增益。

4. 方程级形式化与评测流程

给定模型输出 (y)、参考答案 (y^)，评测器 (m) 对应二元评分 (S_m(y,y^){0,1})。作者选择与人工评分 (S_h) 一致性最高的评测器：

[ m^*=_{mM}(S_m,S_h). ]

解析基线是 (S_{parse}(y,y^*)=[extract(y)=y^*])。对 judge 与人工的成对差异使用 McNemar 统计量：

[ ^2=, ]

其中 (b) 是“人工对、方法错”，(c) 是“人工错、方法对”的不一致计数（论文 Eqs.1–2，PDF p.4）。作者还写出成本 (C_{total}=n(c_{token}l_{avg}+c_{base}))，并以 (Utility=-Cost) 解释 GSM8K 用 GPT-4-turbo、ARC/CommonsenseQA 用 GPT-4o 的混合选择。

MR-GSM8K 的复合分数则把判断正确性、首个错误步骤与错误原因合并：

[ MR=w_1(0,MCC)+w_2ACC_{step}+w_3ACC_{reason}. ]

权重“经验选择”，但 ThinkSLM 没有给出权重敏感性（附录 A.5，PDF p.16）。

流程伪代码：

输入：模型 checkpoint、任务、提示模板、压缩版本
1. 生成输出；除特殊说明外重复 3 次
2. GSM8K → GPT-4-turbo；ARC-E/C 与 CSQ → GPT-4o
3. Sorting → 覆盖 13 种输出格式的确定性解析器
4. Robustness → 原 benchmark 脚本 + GPT-4o
5. 聚合任务准确率、Sorting_Avg 与五列等权 Overall
6. 按家族/规模/提示/压缩/鲁棒性切片，而非只看总榜
输出：性能、GPU 内存、磁盘、均值/部分标准差

5. 关键机制与工程细节

6. 数据集、基准与指标

数学包括 GSM8K、MATH、MathQA；科学包括 ARC-Easy/Challenge；常识包括 CommonsenseQA、OpenBookQA、HellaSwag；算法任务为作者自建的 6 个 Sorting；鲁棒性包括 GSM-Plus、MR-GSM8K、MR-Ben（§3.2 与附录，PDF pp.3, 14–17）。主表实际展示 GSM8K、ARC-E、ARC-C、CSQ、Sorting_Avg，并做简单等权平均：

[ Overall=. ]

例如 Qwen2.5-0.5B：((46.80+62.50+44.28+46.90+2.61)/5=40.62)，与 Table 3 一致（本报告复算）。这个总分便于排序，却让六个 Sorting 子集先平均为一列，再与单个数据集等权；它既不是按样本数加权，也没有任务重要性论证。

数据规模在 Table 19（PDF p.51）列出：GSM8K 测试 1,319；ARC-E 2,376；ARC-C 1,172；CommonsenseQA 测试 1,140；HellaSwag 10,003；MathQA 2,985；OpenBookQA 500；MATH 5,000。Sorting 的每个子集样本数未在同一统计表明确列出，因此不能复算总体置信区间。

7. 完整主结果矩阵：同一家族六个规模

下表固定 Qwen2.5、无量化、Direct I/O，避免把家族与压缩混进规模效应。粗体为列最优；“Overall Δ”相对上一规模，pp 与相对百分比由本报告复算。所有原始值来自 Table 3（PDF p.5）。

矩阵显示明显但非同步的饱和：GSM8K 在 7B 后只再增 3.64 pp，而 Sorting 从 57.67 境增到 87.39，仍增加 29.72 pp。换言之，“规模回报递减”对老数学集成立，却不能直接外推到更长的算法执行。

8. 量化：真正稳定的是 8-bit，4-bit 的风险集中在小模型和长执行

原始分数来自 Table 3（PDF p.5），差值为本报告复算。8-bit 的正负 0.24 pp 内波动均落在单项多次运行的标准差量级附近，不能解读成量化“提升推理”；合理结论是“没有可检测的显著损失”。4-bit 则具有规模相变：0.5B Overall 相对损失 19.87%，7B 的主要损失来自 Sorting，而 32B 几乎不变。另一个工程异常是 32B GPTQ-4 实测 GPU 内存 52.42 GB，反而高于 GPTQ-8 的 33.81 GB，说明位宽并不等于端到端内存，kernel、缓存与实现路径必须实测。

9. 鲁棒性、逐层消融与相变

9.1 训练来源

Qwen2.5-3B Base→Instruct：GSM8K 77.91→84.74（+6.83 pp），GSM-Plus 60.44→68.33（+7.89 pp），MR-GSM8K 8.1→11.0（+2.9）；但 MR-Ben 平均仅 6.9→8.8（+1.9）。这说明 instruction tuning 对“解题”和表面扰动的收益更大，对识别他人推理错误的迁移较弱（Table 4，PDF p.8；差值为本报告复算）。

9.2 量化与规模

Qwen2.5-32B 与 GPTQ-8 在 MR-GSM8K 都为 55.6；GSM-Plus 是 82.71 与 82.78；MR-Ben 平均 21.4 与 21.3（Table 4，PDF p.8）。这是一组较干净的“基本等价”证据，但论文未做等价检验，不能以相同小数位证明统计相等。

9.3 剪枝

Llama-3.1-8B 未剪枝 MR-GSM8K 为 24.2，W8A16 为 23.3，2:4 剪枝为 0；GSM-Plus 分别 67.10、66.78、35.17（Table 4，PDF p.8）。附录进一步承认，ARC-E/C、CSQ 对一些剪枝模型被跳过，因为输出“nonsensical 且准确率接近 0”（A.6，PDF p.17）。所以剪枝失败不是平均掉几分，而是从连续退化跨入“无法产生可评分响应”的离散相变。

9.4 提示

论文 Figure 1c 与 §4.4（PDF pp.6–7）称 2024 年后的模型加 CoT 通常只带来约 2% 增益，复杂提示有时反而下降。附录 Table 9 对剪枝模型却显示 CoT 可比 Direct I/O 高 10–20 pp；例如 Llama-3.1-8B 2:4 从 51.86% 升至 60.27%，但 5-shot CoT 又跌到 1.95%（PDF p.33）。因此“提示不重要”只适用于较强、已对齐模型；当模型结构受损时，提示会成为不稳定的补偿器。

9.5 超参敏感性

论文未报告量化校准集大小、GPTQ block/group 参数、温度/采样参数或 MR-Score 权重的系统 sweep，也未给剪枝率的连续曲线。可观察的“相变”来自离散 checkpoint：8-bit 稳定、4-bit 在小模型恶化、2:4 剪枝崩溃。由于中间点缺失，不能推出临界位宽或临界稀疏率。

10. 统计显著性：报告得多，但证据链仍未闭合

积极面：所有实验称重复 3 次；Table 1 对 judge 给出 McNemar 检验、MAE 与 1,000 次 bootstrap CI；GPT-4-turbo 一致率 0.99、95% CI [0.98,1.00]、p=0.249，GPT-4o 为 0.98、[0.97,0.99]、p=0.156（PDF p.4）。

但有四个边界。其一，p>0.05 只表示“未拒绝差异为零”，不等价于通过等价性检验。其二，主结果没有模型间配对显著性、置信区间或多重比较校正。其三，§4 声称三次运行“方差始终低于 1.49%”，Table 7 却出现 ±3.25、±2.79 等更大标准差，Table 10 甚至有 ±5.67；该句与附录数字不一致（PDF pp.5, 32, 34）。其四，Sorting_Avg 与 Overall 没有标准差，无法判断 92.64、92.65、92.67 三个 32B 分数的次序是否可重复。

因此，本报告只把大效应（如 +35.78 pp、MR 24.2→0）当作稳健方向；把 0.01–0.24 pp 的量化差异解释为“性能保持”，而不是“改善”。

11. 真正贡献、可复用设计与迁移潜力

真正贡献有三点。第一，先校准评测器，再扩展模型矩阵，避免 exact match 把小模型格式错误误当成推理错误。第二，用同一家族多规模×多位宽展示“能力—内存”前沿：工程上，8-bit 是比结构化剪枝更保守的首选。第三，把最终答案正确率推进到扰动、首错定位与错误解释，揭示老 benchmark 接近饱和时仍有巨大的元推理缺口。

可复用设计不是“再造一个总榜”，而是三段式评测：

1. 输出可判定性层： 人工锚定 judge 与 parser，记录无法解析率；
2. 任务能力层： 固定提示/预算，测数学、科学、常识、算法执行；
3. 应力层： 同题扰动、过程错误定位、压缩后回归。

迁移到代码模型时可把 Sorting 换成单元测试序列与 bug 定位；迁移到医疗模型时把 MR-Ben 换成诊断链首错；迁移到端侧模型时，把 GPU memory 增补为 TTFT、TPOT、能耗、峰值 RAM，并对位宽—kernel 联合优化做 Pareto 分析。

12. 相关工作：问题来源与技术来源链

12.1 GSM-Plus（ACL 2024 Long）

解决什么： 从 GSM8K 生成数值替换、数字扩展、整数/小数/分数转换、加/逆运算、题意改写、干扰句、批判思考等扰动；原论文评测 25 个模型与 4 种提示，证明会做原题不等于对微扰稳健（GSM-Plus 摘要与正文）。遗留缺口： 它面向较大的 LLM，未系统回答小模型和压缩版本是否保持扰动鲁棒性。ThinkSLM 如何回应： 把 GSM-Plus 与原始 GSM8K 同列，并报告跌幅；Qwen2.5-32B 从 95.40 降到 82.71，仍下降 12.69 pp（ThinkSLM Table 4，PDF p.8）。设计传递： “保持语义、改变表面或运算条件”的配对扰动成为压缩回归测试，而非只看静态准确率。

12.2 MR-GSM8K（arXiv 2312.17080v4）

解决什么： 把模型从学生改成老师，要求判定解答对错、找首个错误步骤、解释错误，并用 MCC、step accuracy、reason accuracy 合成 MR-Score。原论文指出一些模型在 GSM8K 接近 GPT-4，但 MR-GSM8K 差距会扩至 20 个绝对点以上（MR-GSM8K 摘要）。遗留缺口： 原工作没有覆盖大规模 SLM 压缩谱系。ThinkSLM 如何回应： 测 3B/8B/32B/70B 与量化/剪枝；32B Qwen 达 55.6，高于论文引用的 GPT-4-turbo 53.0，而 8B Llama 仅 24.2、剪枝后为 0（Table 8，PDF p.33）。设计传递： 结果正确升级为“能否审计过程”，这正是 ThinkSLM 发现剪枝脆弱性的关键放大镜。

12.3 DeepSeek-R1（Nature 2025 / arXiv 2501.12948）

解决什么： 通过 RL 激励反思、验证与动态策略，并把大模型推理轨迹蒸馏到 1.5B、7B、8B、14B、32B、70B 六个 dense checkpoint（官方论文与模型卡）。遗留缺口： 单篇模型报告难以把蒸馏收益与家族、提示和压缩方式横向拆开。ThinkSLM 如何回应： 将 teacher-driven distillation 视作训练来源轴，并与 Minitron、Qwen、Llama 等放在同一任务矩阵。设计传递： “小模型推理来自可迁移训练信号，而不只来自自发尺度涌现”成为 ThinkSLM 的主假设。

12.4 Minitron（arXiv 2408.11796v4）

解决什么： 对 Llama-3.1-8B 与 Mistral-NeMo-12B 做深度/宽度剪枝，再用蒸馏恢复到 4B/8B；官方仓库同时开放实现与权重。遗留缺口： 原论文主要用 LM Evaluation Harness 常用基准，较少检查长算法执行和元推理。ThinkSLM 如何回应： 把 Minitron 与直接 SparseGPT/2:4 等放入 Sorting、GSM-Plus、MR 系列；Phi-3.5-mini 3.8B 在 GSM8K 为 85.47%，Minitron-4B 仅 27.95（Table 3，PDF pp.6–7），表明“相近参数”不能抹平训练过程差异。设计传递： 剪枝后是否恢复训练、用什么蒸馏数据，必须作为 checkpoint 身份的一部分记录。

12.5 非线性技术演进树

GSM8K：最终答案正确
├─ GSM-Plus：同题扰动是否稳健 ─────────────┐
├─ MR-GSM8K：能否审计中间推理 ───────┐     │
└─ CoT / RL：显式过程与自我验证        │     │
       └─ DeepSeek-R1：大模型 RL → 小模型蒸馏 ─┐
                                               ├─ ThinkSLM：统一测量矩阵
参数压缩                                         │   ├─ 8-bit：多数性能保持
├─ GPTQ / FP8：数值近似 ───────────────────────┤   ├─ 4-bit：规模相关风险
└─ Minitron / SparseGPT / 2:4：删结构 → 再训练 ┘   └─ 剪枝：过程能力相变

演进动力有两个转折：从“答案对不对”转向“扰动与过程是否稳”，从“参数少就是小模型”转向“训练来源与压缩路径决定能力”。ThinkSLM 的位置是汇合点，而不是新训练算法。

12.6 跨论文对标

13. 论文自述限制

1. Judge 偏差。 作者承认 GPT-4 不是 100% 准确，附录 D.8 甚至展示 nonsensical 输出被判对；全量人工监督不可行（Limitations，PDF p.14；Appendix D.8，pp.48–49）。
2. Sorting 解析误差。 尽管 400 条验证一致率 98.8%，正则仍可能错杀正确但格式特殊的答案（Limitations，PDF p.14；Table 2，p.4）。
3. 任务覆盖窄。 主要是常用学术 benchmark，缺少真实问题与领域推理；因此不能直接外推医疗、法律或软件工程（Limitations，PDF p.14）。

14. 独立批判

1. [内部一致性] 因为正文 §3.3 说“3 位标注者多数投票”，附录 G 却说“1 位研究生重复三次”，所以 κ=0.87 的主体与独立性无法从论文复原；这削弱了 judge 校准的地基。
2. [版本治理] 因为正式稿是 17 基准/1,000 样本，项目页仍是 14 基准/800 样本且代码链接 404，所以外部用户无法确认 leaderboard 对应哪一实验版本；动态榜不应被当作正式表的等价副本。
3. [因果归因] 因为 Qwen2.5-7B 与 Mistral-7B 相差 35.78 pp，但它们同时改变预训练 token、数据质量、架构与对齐，所以“训练数据导致差异”只是合理解释，不是受控因果结论。
4. [统计推断] 因为 GPT-4o 对人工 p=0.156 只说明未拒绝差异，而论文称其“comparable/optimal”，所以需要预设容忍界限的等价检验；否则不能从不显著推出等价。
5. [多重比较] 因为 72 个模型×多任务×多提示产生大量比较，论文未报告校正，且 Overall 无标准差，所以 32B 的 92.64/92.65/92.67 排序不能解释为真实优胜。
6. [选择偏差] 因为对剪枝模型跳过 ARC-E/C 与 CSQ 的理由正是“输出接近零且胡言乱语”，所以结果缺失是非随机的；只展示剩余任务会低估剪枝的总体风险。
7. [评测污染] 因为 GSM8K、ARC 等公开多年，开放模型训练语料与蒸馏数据可能包含其题型或答案，所以 95% 静态准确率不能单独证明可迁移推理；Sorting 虽降低污染，却混入格式执行。
8. [系统外推] 因为总计约 24,000 GPU-hour，却没有逐模型吞吐、时延、能耗、batch 或 KV-cache 口径，所以“可部署”只能从峰值显存和磁盘近似推断，不能推导端到端成本优势。

15. 开放挑战：可直接执行的 head-to-head 空白

理论

• 等价而非差异检验： 固定 Qwen2.5-7B/14B/32B，比较 BF16、GPTQ-8、GPTQ-4；对逐题配对正确率做 TOST，界限设为 ±1 pp，并对 GSM8K 与 Sorting 分层。空白是：8-bit 是否真的在预设工程容忍度内等价。
• 规模—位宽相变： 同一校准集、同一 GPTQ 实现下扫 0.5/1.5/3/7/14/32B × 3/4/6/8 bit，拟合失真与任务链长度的交互；空白是 4-bit 风险来自参数容量还是累积执行误差。
• 过程分数权重： 在 MR-GSM8K 上公开 (w_1,w_2,w_3)，比较等权、专家权重、IRT 权重的模型排名稳定性；空白是 Qwen32B“胜 GPT-4-turbo 2.6 分”是否依赖权重。

工程应用

• 等延迟比较： A100/H100/L40 上让 BF16、GPTQ-8、GPTQ-4、2:4 稀疏在相同 TTFT/TPOT 预算运行，报告峰值显存、tokens/s、能耗与准确率；空白是论文的内存优势能否转化为服务优势。
• 统一 checkpoint 管线： 从同一个 Qwen2.5 权重自行生成所有量化/剪枝版本，固定校准数据与 tokenizer；对比社区 checkpoint。空白是当前观察有多少来自实现差异。
• 失败率显式化： 不再跳过 nonsensical 输出，增设 no-response、parse-fail、semantic-invalid 三项，并纳入 Overall；空白是剪枝失败究竟发生在语言生成层还是推理层。

新兴方向

• 推理预算自适应： 同一 3B/7B 模型对比 Direct I/O、固定 CoT、AdaptThink、TokenSkip，固定总 token/能耗，按题难度分桶；空白是“少想”是否比“压权重”更划算。
• 污染抗性： 用新生成且带程序验证的数学题与隐藏 Sorting 规则，对照 GSM8K/ARC；空白是家族优势在去污染后是否保留。
• 过程忠实性： 对最终答案不变但中间链被反事实替换的样本，比较 MR-GSM8K judge、执行验证器与人工；空白是高 MR-Score 代表真实过程追踪还是 judge 风格匹配。

16. 近期工作雷达

1. Thinking Out Loud: Do Reasoning Models Know When They’re Right?（EMNLP 2025 Main）：把显式置信理由用于校准，适合补上 ThinkSLM 只判对错、不测自知的缺口。
2. Diagnosing Memorization in Chain-of-Thought Reasoning, One Token at a Time（EMNLP 2025 Main）：逐 token 诊断推理链记忆，为 ThinkSLM 的公开旧基准污染问题提供更细的分析工具。
3. TokenSkip: Controllable Chain-of-Thought Compression in LLMs（EMNLP 2025 Main）：从输出 token 而非权重压缩成本；官方摘要报告 Qwen2.5-14B 在 GSM8K 将 313 token 降到 181、性能损失不足 0.4%。
4. AdaptThink: Reasoning Models Can Learn When to Think（EMNLP 2025 Main）：让模型在 Thinking/NoThinking 间自适应选择，是比静态 CoT 更贴近服务预算的对照方向。
5. Parallel Continuous Chain-of-Thought with Jacobi Iteration（EMNLP 2025 Main）：把连续思维 token 的串行依赖改成 Jacobi 并行迭代，补足 ThinkSLM 只测准确率与显存、不测推理时延的空白。
6. DeepSeek-R1（Nature 2025，arXiv v2 2026-01-04）：把大模型 RL 产生的推理模式蒸馏到六个 dense 尺度，仍是解释 SLM 训练来源效应的关键上游。
7. LLMThinkBench: Towards Basic Math Reasoning and Overthinking（2025 arXiv）：专门观察简单数学中的过度思考，能与 ThinkSLM“复杂提示有时下降”的现象做机制对照。

17. 最终判断

ThinkSLM 值得看，因为它把一个常被口号化的问题——“小模型会不会推理”——改造成六轴矩阵，并给出明确工程信号：Qwen2.5-32B GPTQ-8 在 Overall 92.65、全精度 92.64 的同时，GPU 内存从 125 GB 降至 33.81 GB；而 Llama-3.1-8B 2:4 剪枝会让 MR-GSM8K 从 24.2 直接归零。前者说明 8-bit 常处在能力保持区，后者说明结构删除可能跨越推理完整性的相变。

但它更适合作为“风险地图”，不是训练规律的因果证明。正式稿、项目页与附录在基准数、人工样本数、标注者人数和代码状态上互相冲突；主表缺少总体显著性与等预算系统指标。若要据此做部署决策，应优先复现同源 checkpoint 的 8-bit/4-bit/2:4 head-to-head，并把无响应率、TTFT、TPOT 与能耗纳入同一 Pareto 前沿。

脚注与索引状态： 本报告仅引用实际读取的 ThinkSLM 正式 PDF/附录及上游论文公开页；复算项目均已显式标注。ml-report-index.md 已追加本次记录。HTML 已通过 Warm Editorial 专用静态校验器（0 错误、0 警告），并以响应式规则检查浅色、深色与移动端结构；但当前环境没有 /usr/bin/chromium 或 /opt/pw-browsers 可执行文件，Playwright 直接启动亦确认浏览器缺失，故本次未完成实际截图检查，也未运行被禁止的 playwright install。