层类型不是常量，是超参——而且它值 30% 的性能

在进入正文前，先把本期报告的三个已知局限摆在明面上：

1. 去重索引不可达。本次运行是云端定时任务，用户本地设备桥在定时运行中从不连接。因此 ml-report-index.md 无法读取，14 天去重检查未能执行，索引也未能自动追加本期记录。
2. 随机抽取过程。候选池 27 篇（AI4Science 方向，2025-08 至 2026-08），shuf -i 1-27 -n 1 抽中索引 6 = MolGraphBench。重抽次数：0。资料充分性检查通过。
3. 分析基于 arXiv HTML v3 全文，不含补充材料。论文正文指向的代码仓库经多轮检索未能定位，因此超参搜索空间、逐数据集 CKA 数值、训练时间秒数三项无法核实，凡涉及处均已标注。

所有链接均经实际访问验证。「未找到」= 多轮检索后仍无法定位；「403」= 页面确实存在但抓取被反爬拦截，标题与卷期经镜像交叉确认。

1.1 核心论文

1.2 相关工作

注：在抓取到的 v3 参考文献列表中，未出现 Xu et al. (2019) 的 GIN 原始论文条目，而 Kipf&Welling、Hamilton、Veličković 三篇均在列。这可能是 HTML 抽取不完整所致，也可能是真实的引用遗漏。无法确认是哪一种，故仅作提示，不计入批评条目。

2.1 一句话定位

后半句是本报告的派生结论。论文自己只说到前半句，并未意识到该效应是分场景的。这个「分场景」正是本文最有价值却被作者自己错过的发现（见 §2.5.4 相变分析）。

2.2 Motivation 与问题论证

论文指向的痛点

论文的问题陈述在字面上很朴素：「尽管 GNN 在分子性质预测上应用激增，一个严谨的基准仍然缺失。」但这句话背后有一个更具体、可验证的观察。论文 Table 1 梳理了近年提出的「新」GNN 架构，并按其底层层类型分类：

这张表暴露的问题是：这些工作各自选定一种底层层类型，然后在其上堆叠创新（xLSTM、MoE、对比学习、KAN、指纹融合），并把最终性能提升全部归因于自己的创新模块。但没有任何一篇做过「如果只换底层层类型会怎样」的对照实验。整个子领域的增量声明，都建立在一个未经检验的假设上：底层层类型的影响很小，可视为背景常量。

痛点的量化（论文未做，本报告补算）

在完全相同的迁移学习流水线下（相同预训练语料 METLIN、相同微调协议、相同数据集 RT、相同 MLP 头），只改变卷积层类型：

为什么值得解决

• 实践价值：如果层类型值 30% 的性能，那么任何分子性质预测项目的第一步都应该是扫四种层类型，实施成本接近于零。
• 元科学价值：如果层类型是未被控制的混淆变量，整个子领域近五年的增量声明都需要重新审视——「新模块」的增益到底来自模块本身，还是来自它恰好搭配了合适的底层层？
• 理论价值：GIN 在迁移场景下的统治性表现，与 Xu et al. (2019) 关于 GIN 达 1-WL 表达上界的理论构成呼应——表达能力可能在「从头拟合小数据」时用不上（易过拟合），却在「预训练表示迁移」时兑现。论文未作此推断，但数据支持它。

2.3 论文的故事线（论证结构）

论文的论证不是线性的「提方法—做实验—报结果」，而是一个四判据收敛结构：

1. 把「最优架构」拆成四个判据——绝对性能、训练效率、迁移学习、预测质量。设计权衡是：牺牲结论锐利度，换取结论稳健性。若四条判据指向同一架构则结论强；若分歧，则说明「最优架构」本身是伪命题。
2. 先证明 GNN 值得讨论——用 GNN vs 传统 ML 的对比确立地基。若 ECFP4+SVM 全面胜出，后面三步都没意义。
3. 引入两个正交探针解释差异来源——CKA 探针（借自 Welsch et al. 2024）测量表示互补性；高误差分子探针测量误差分布而非幅度。这是全文最聪明的设计。
4. 用迁移学习作终审——四判据中唯一涉及「表示可复用性」的，也最贴近实际部署。

2.4 方法论与机制解剖

设分子 SMILES 经 RDKit 解析得图 G=(V,E)，节点为原子、边为化学键，节点特征 X ∈ R^{N×118}（元素周期表 one-hot）。完整流水线：

四种层类型的差异仅在 AGG / UPD

关键机制表格

2.5 实验设计与定量结果

2.5.1 基准与数据集

五个数据集，覆盖三个应用域，规模跨度 6.5 倍：

数据集选择有一处值得称道的设计：跨越三个性质截然不同的域。ESOL/FreeSolv/Lipophilicity 是「局部可加」性质（大体可由片段贡献叠加），B3DB 是「全局药效团依赖」性质，RT 是「色谱相互作用」性质。这个跨域设计使得 §2.5.3 的发现成为可能——尽管论文自己没有利用它。

2.5.2 主结果矩阵（Table 2 · RMSE ± SD · n=3）

SOTA 归属：B3DB ← GMC-MPNN (Nguyen 2026)；ESOL/FreeSolv/Lipophilicity ← MolGraph-xLSTM (Sun 2025)；RT ← GNN-TL (Yang 2021)。RT 的 SOTA 值存在严重问题，见 §2.7 第 ① 条。

派生量 1 · 跨数据集平均排名（1 = 12 方法中最优）

• GraphSAGE 平均排名最优（3.00），但排名方差最大（1→6）；GCN 排名更差（4.00）却极稳定（3/3/3/3/8）。论文的结论是「GCN 和 GIN 是最优架构」——与平均排名不符（GIN 第 6，GAT 第 7）。该结论显然是四判据加权后的产物（GCN、GIN 训练最快），但论文未说明加权规则，导致结论看起来像从数据直接读出，实际不是。
• SVM 在 B3DB 上排名第 1，是全表唯一在某数据集上击败全部 8 个 GNN 变体的传统 ML 方法。
• LR 在 RT 上 RMSE = 601.600，是 GraphSAGE 的 6.7 倍。这个数字大到应触发疑问：LR 是否被正确标准化？把明显失效的 baseline 放进表里会人为抬高所有其他方法的相对优势。

派生量 2 · 与 SOTA 的真实差距

论文摘要称「我们的 GNN 模型在三个数据集上取得优于或相当于当前 SOTA 的性能」。这句话字面成立，但它省略的部分更重要：

2.5.3 指纹融合分析（派生矩阵，论文未做）

论文的结论是：「指纹与图嵌入本质上是非互补的，除 FreeSolv 外未见性能增益。」我把 Table 2 中 4 架构 × 5 数据集 = 20 个配对单元的融合增益全部算出（负值 = 改善）：

可检验的假设：ECFP4 编码的是子结构存在性（药效团式信息）。当目标性质依赖全局药效团特征（血脑屏障通透性、色谱相互作用）或训练数据极少时，它提供了 GNN 从小数据学不到的先验；当目标性质是局部可加的物理化学量（溶解度、logD）时，GNN 的消息传递本就能高效学到，此时 1024 维稀疏指纹只是引入噪声与过拟合风险。

论文把这个有结构、有解释力的现象压缩成了一句「非互补」。这是全文信息损失最严重的一处。

2.5.4 迁移学习与相变现象（Table 4 · MAE · RT 数据集）

预训练：METLIN（80k SMILES，反相色谱 RT）。微调：RT 数据集（1,400 条，HILIC）。三级微调粒度：

GIN 为何在迁移下胜出？论文未作解释。一个与 Xu et al. (2019) 理论一致的假设是：GIN 的求和聚合是单射的，达 1-WL 表达上界，能保留最丰富的结构信息。这种表达能力在小数据从头训练时是负担（易过拟合，故 GIN 在 B3DB 上排名第 10），但在 80k 分子上预训练时可被充分利用。这个假设可用一个便宜的实验证伪：在 METLIN 预训练规模上做 10k/40k/80k 缩放曲线，看 GIN 的相对优势是否随预训练规模单调扩大。

2.5.5 统计显著性（论文未做，本报告补算）

论文报告了 n=3 的标准差，但从未做过任何显著性检验，却在正文中反复使用「最优架构」的表述。双样本 t 检验（df=4，α=0.05，t_crit=2.78），检验每个数据集上「最优 vs 次优」架构的差距：

迁移学习结果不受此影响：GIN 52.914±1.218 vs GraphSAGE 70.752±2.750，差距 17.8 是合并标准差的 8 倍以上。这再次说明：论文真正稳固的发现在迁移部分，而摘要的重心却放在了不稳固的从头训练部分。

2.5.6 预测质量：高误差分子比例（Table 3，%）

1. B3DB 上 SVM 以 18.868% 的高误差率大幅优于所有 GNN（最好的 GAT 为 25.157%，相对高出 33.3%）。结合 Table 2 中 SVM 的 RMSE 0.471 也是全表最优，B3DB 上传统 ECFP4+SVM 在两个判据上同时击败了全部 8 个 GNN 变体。而论文结论段写道「GNN 模型能给出优于用固定长度分子指纹训练的 ML 模型的性能」——这一断言被论文自己的数据在 1/5 的数据集上直接证伪，论文正文只以「except for the B3DB dataset」一笔带过。B3DB 恰是唯一的生物属性数据集，这个反例本身就是有价值的发现，却被当作噪声处理了。
2. Table 3 完全没有 GNN-FP 的行。论文宣称的四判据之一是「预测质量」，而「指纹非互补」的结论横跨全文——但融合模型的预测质量从未被评估。完全可能出现的情况是：GNN-FP 虽然 RMSE 没改善，却降低了高误差分子比例（改善了误差分布的尾部而非中心）。这是一个成本为零的缺失实验（模型已训练完毕）。

2.6 价值分析

真正的贡献

不是「做了一次 GNN 基准测试」——这类基准每年都有。是：把「底层层类型」这个变量从背景常量提升为可测量的实验对象，并（在迁移学习子场景里）给出了它值 30% 性能的证据。这个证据的力量在于它是在完全受控的条件下取得的——同一数据、同一预训练语料、同一微调协议、同一回归头，只换一个 AGG/UPD 函数。

可脱离本文单独复用的设计

1. 「高误差分子」分析范式。把评估从「平均误差多大」转向「误差落在哪类分子上」。论文用 RDKit 描述符对比高/低误差子集，得到「GNN 在 5 个数据集中的 3 个上，环数在高低误差组间显著不同」这一可操作的适用边界。与本文的具体结论无关，可直接迁移到任何分子回归任务的模型诊断中。
2. CKA 作为融合有效性的前置探针。「先测两路表示的互补性，再决定要不要融合」这个流程本身是省算力的好习惯——即使本文证明了 CKA 低不等于融合有效（这本身就是有价值的负面结论）。
3. 三级微调粒度协议。比常见的「冻结 vs 全微调」二分更细，能分离「表示可用性」与「表示可适配性」。从 Table 4 看，GIN 的「头→全」改善幅度最小（13.2%）恰恰说明它的预训练表示本身质量最高——仅用一个线性头就达到 60.960，比其他架构完全微调后还好。这个诊断逻辑值得复用。
4. 跨域数据集选择（物理化学 / 生物 / 分析化学）。这个设计使 §2.5.3 的域依赖性发现成为可能。后续做指纹融合或表示互补性研究的工作应直接继承这个三域配置。

对后续工作的启发

• 架构敏感度的场景依赖性。本文数据暗示「架构重要性」本身是一个随预训练规模变化的量。可做成完整研究：横轴预训练分子数，纵轴架构间性能跨度，预期单调上升。若成立，将成为「什么时候该调架构」的定量指南。
• 表示互补性的度量学。CKA 低而融合无效说明现有相似度度量无法预测融合收益。需要新度量——不是「两个表示有多不同」，而是「差异部分是否与目标标签相关」（条件互补性而非边际互补性）。
• 基准的元评估。本文正是 Bechler-Speicher et al. 所呼吁的「更严格评测协议」的一次尝试，但它自身在统计严谨性上又落入了它试图批评的窠臼。这个递归说明：基准论文也需要基准。

2.7 局限性

第一类：论文自述的限制（Conclusion 章节）

1. 大分子失效：「与 ML 模型可以生成固定尺寸指纹不同，GNN 模型在大型复杂分子上表现出较低的预测性能。」（Figure 4 支撑：环数在 3/5 数据集上于高低误差组间显著不同）
2. 训练成本：「GNN 模型的训练时间显著高于 ML 模型，在资源受限环境下可能存在可扩展性问题。」（Figure 3）
3. 指纹非互补：「指纹与图嵌入在本质上是非互补的，除 FreeSolv 数据外未见性能增益。」（本报告 §2.5.3 认为这一自述结论本身有误）
4. 迁移域偏移（§3.5）：「我们使用的 METLIN 是反相色谱，其分布完全不同 [与 HILIC 相比]。」

第二类：补充批判（独立观察，8 条）

① [论证缺口 / 事实错误] RT 数据集的 SOTA 基线数值与论文自身正文相互矛盾，导致该数据集的所有比较结论失效。

论文 Table 2 将 RT 的 SOTA 列为 MAE = 70.40，归属于 GNN-TL (Yang et al., 2021)。但论文正文另有一句原文：

同一篇论文的表格与正文，对同一个基线给出了 70.40 和 38.6 两个相差 82% 的数字。采用哪个数字，会完全颠覆结论：

摘要中「GIN with MAE of 63.783 on RT datasets」作为三项超越 SOTA 的成就之一被列出——若正文的 38.6 是正确值，这项成就实为落后 65.2%。

② [统计有效性] 4/5 数据集上宣称的「最优架构」不具统计显著性，且方差估计本身系统性偏低。

§2.5.5 已详述：只有 B3DB 一个数据集的最优 vs 次优差距显著（t=3.19 > 2.78），其余 4 个 t 值在 0.29–1.54 之间。而摘要断言「GCN 和 GIN 是最优 GNN 架构」。更深一层：LR/SVM 的 SD 恰为 0.000，证明三次重复共享同一划分，因此报告的 SD 只反映初始化方差、不含划分方差。这意味着连那唯一「显著」的 B3DB 结果也建立在被低估的不确定性之上。

③ [论证缺口] 核心结论「指纹非互补」被本文自己的数据证伪，且错失了一个有解释力的发现。

§2.5.3 已详述：融合在 20 个单元中的 10 个带来改善（50%），且改善与否按数据集完美分层——B3DB 4/4、RT 3/4、FreeSolv 3/4 有效；ESOL 0/4、Lipophilicity 0/4。论文将这个有结构的现象概括为「非互补，除 FreeSolv 外无增益」，既不准确（漏掉 B3DB 与 RT 的一致增益），也丢失了「指纹在生物/分析化学终点上有效、在物理化学终点上有害」这个可解释、可预测的规律。

④ [论证缺口] 「CKA 低但融合无效」的矛盾被标记为「反直觉」后即被搁置，而它恰恰指向可检验的机制假设。

至少有三个可检验的解释，本文一个都没有测试：

• 融合方式假设：简单拼接 + 2 层 MLP 可能不足以利用互补性。对照实验：门控融合、交叉注意力、或让指纹分支只预测残差。
• 容量/维度失衡假设：F_embed 投影维度未公开；若显著大于 G_embed，指纹分支会主导拼接向量。对照实验：扫 F_embed/G_embed 维度比。
• 条件互补性假设：CKA 度量的是边际表示差异，而融合收益取决于条件于标签的差异。两个表示可以很不同，但差异部分与目标完全无关。

⑤ [实验设计混淆] GIN 使用求和池化而其余三者使用均值池化，使「架构效应」与「池化效应」完全无法分离。

论文自己承认了这个混淆——在解释「GIN 与其他架构 CKA 低」时写道：「可能是由于池化公式的差异（GIN 用 add 池化，其他 GNN 用 mean 池化）。」但这个混淆污染的不只是 CKA 分析，而是全文所有涉及 GIN 的结论，包括最重要的迁移学习结果。GIN 52.914 vs GCN 75.621 这个 30% 的差距，无法判断有多少来自单射聚合、多少来自求和池化——而求和池化保留了图规模信息，RT 保留时间恰恰与分子大小强相关，这是一个高度合理的替代解释。修复成本极低：跑 GIN+mean 与 GCN+add 两个对照，2×5 = 10 组额外实验。这是全文最该做而未做的消融。

⑥ [术语误用] 将「仅微调回归头」称为 zero-shot learning。

论文原文：「Even with zero-shot learning (fine-tuning MLP regression head), MAE of 60.960 was achieved.」微调一个回归头需要在目标数据上做梯度更新，这是标准的 linear probing（线性探针），不是 zero-shot。这个误用会让引用本文的后续工作产生错误的性能预期——真正的 zero-shot 数值（直接用 METLIN 预训练模型在 HILIC 上推理）论文根本没有报告，而那个数字才是回答「表示能否跨色谱模式直接迁移」的关键。

⑦ [覆盖缺口] 四判据之一的「预测质量」从未在 GNN-FP 模型上评估。

Table 3 只有 8 行（4 ML + 4 纯 GNN），缺失全部 4 个 GNN-FP 变体。而「指纹非互补」是贯穿全文的结论之一。在药物发现中，避免灾难性预测往往比平均精度更有价值——这 4 行数据的计算成本为零，却缺失了。

⑧ [可复现性风险] 声明的代码仓库无法定位，且论文标题在版本间发生变更。

v3 正文声明数据与代码可在 github.com/rajanbit/MolGraphBench 获取。经多种检索策略（仓库名精确匹配、站内检索、作者名关联检索）均未能定位该仓库，而同一作者的其他仓库可正常检索到。同时 v2 正文写的是「可向作者合理索取」，并无仓库。叠加标题变更，判断是该仓库很可能尚未公开或已失效。结合超参搜索空间、逐数据集最优超参、F_embed 维度、训练时间四项关键信息全部只存在于代码/补充材料中，本文目前实质上是不可复现的。

3.1 Neural Message Passing for Quantum Chemistry — 2017.04 · ICML 2017（主会）

解决了什么问题。在 MPNN 之前，分子图上的神经网络是一堆彼此孤立的方法：Duvenaud 的神经指纹、Kearnes 的图卷积、Li 的 GGNN 各说各话，无法比较。Gilmer 等人的贡献是提出统一抽象——所有这些方法都可以写成「消息函数 M + 更新函数 U + 读出函数 R」的三段式。核心贡献一句话：把分子图神经网络从一堆技巧统一成一个有明确设计维度的架构族。最佳集成模型在 QM9 全部 13 个目标上取得当时 SOTA，其中 11/13 达到化学精度。

遗留了什么缺口。MPNN 定义了设计空间，却没有给出在这个空间里如何选点的任何指导。论文探索了若干 M/U/R 变体，但只在 QM9 单一数据集（且是高度理想化的小有机分子量子化学数据）上。留下的空白是：当任务从 QM9 换成实验测量的溶解度、通透性、保留时间时，设计空间里的最优点会不会移动？MPNN 从未回答，后续十年也几乎没人系统地问过。

核心论文的回应。MolGraphBench 直接在这个空白上工作。它固定了 MPNN 框架中除 M/U 之外的一切（同样的 118 维原子特征、同样的 FC 投影、同样的 GraphNorm+残差、同样的 2 层 MLP 头），只让 M/U 在四个已知实例间变化，然后在五个实验测量数据集上测量这个变化的效应量。这正是 MPNN 论文应该做但没做的那个实验。

关键设计的传递。MPNN 的三段式抽象在本文中原封不动地成为实验的控制骨架——正是因为 M/U/R 可分离，「只换层类型、其余全同」这个受控实验才在工程上可行。但传递中丢了一样东西：MPNN 把 R（读出）也当作设计维度，而本文把 R 固定为均值池化——唯独 GIN 例外用了求和。这个不彻底的固定，正是 §2.7 第 ⑤ 条混淆的根源。

3.2 MoleculeNet: A Benchmark for Molecular Machine Learning — 2018.01 · Chemical Science

解决了什么问题。2018 年前，分子机器学习论文各用各的数据、各划各的训练测试集，横向比较不可能。MoleculeNet 提供 17 个数据集、逾 70 万化合物、逾 800 个任务的统一集合，配套 DeepChem 实现和推荐划分。本文使用的 ESOL（1,128）、FreeSolv（643）、Lipophilicity（4,200）均出自此。核心贡献一句话：给分子机器学习装上了共同的度量衡。

遗留了什么缺口。MoleculeNet 统一了数据，却在无意中固化了一种评测文化：一篇论文的价值 = 它在这几张表上把 RMSE 降低了多少。架构、超参、划分这些维度被压缩进「我们的方法」这个黑盒里，只有最终数字被拿出来比较。这直接导致了本文 Table 1 所描述的局面——十余种「新架构」各自宣称提升，却无人知道提升来自哪个组件。

核心论文的回应。MolGraphBench 继承 MoleculeNet 的数据与划分，但把评测的因变量换了：不再问「哪个方法 RMSE 最低」，而问「在方法固定的前提下，某个特定设计维度值多少」。同时把数据集从三个物理化学数据集扩展到 B3DB（生物）和 RT（分析化学）——正是这个扩展让 §2.5.3 的域依赖性发现成为可能。

关键设计的传递。从「benchmark = 一组数据集」进化为「benchmark = 一个受控实验设计」。MoleculeNet 的贡献是横轴（数据集），MolGraphBench 试图补上纵轴（受控的架构变量）。

3.3 FP-GNN — 2022.11 · Briefings in Bioinformatics

解决了什么问题。图表示与分子指纹各有所长：GNN 学到任务相关的连续表示，指纹编码专家设计的子结构先验。FP-GNN 提出双通道架构——GAT 分支处理分子图，ANN 分支处理三种互补指纹（MACCS + PubChem + Pharmacophore ErG），在全连接层融合。核心贡献一句话：证明图与指纹可以互补，融合优于任一单独通道。在 13 个基准的 16 个任务中于 7 个取得最佳；LIT-PCBA 平均 AUC 0.739；14 个乳腺癌细胞系数据集平均 AUC 0.849，优于 AttentiveFP、GAT、GCN、MPNN 与 XGBoost。

遗留了什么缺口。FP-GNN 证明了「融合有效」，却没有拆解为什么有效、何时有效。它同时改变了三件事（引入指纹分支、用三种指纹、用 GAT 底层），因此增益无法归因。更关键的是：它从未测试「指纹数量」这个维度——单指纹够不够？也从未测试跨域一致性。

核心论文的回应。MolGraphBench 的 GNN-FP 变体是对 FP-GNN 范式的一次受控复检：把融合从 GAT 一个底层推广到全部四个底层，跨五个数据集测量增益。这是 FP-GNN 未做的归因实验。但这次复检的结论「融合无效」并不成立——因为本文只用了单一 ECFP4（1024-bit），而 FP-GNN 的核心主张恰恰建立在三种互补指纹上。本文误把一个更弱命题的证否，当成了对更强命题的反驳。

关键设计的传递。融合位置的传递是完整的：FP-GNN 在全连接层合并，本文在池化后拼接再进 2 层 MLP——本质相同。丢失的是指纹的多样性维度。而本报告 §2.5.3 的域依赖性发现，恰好为 FP-GNN 的路线提供了新的辩护：指纹在 B3DB（生物）上 4/4 有效，正是 FP-GNN 所专注的生物活性任务类型。

3.4 GNN-TL — 2021.09 · Journal of Chromatography A

解决了什么问题。HILIC 色谱保留时间预测的困境是实验标注极其昂贵，公开数据只有千条量级。GNN-TL 的方案是先在 ~306K 条 in-silico（伪标签）HILIC 保留时间数据上预训练 GNN，再在小规模真实 HILIC 数据上微调。核心贡献一句话：用大规模同域伪标签数据的预训练，突破小样本色谱预测的数据瓶颈。本文使用的 RT 数据集（1,400 分子）及其配套仓库即出自此工作。

遗留了什么缺口。GNN-TL 只用了一种架构。因此它证明的是「迁移学习对这个任务有效」，但迁移增益中有多少属于『预训练』、多少属于『恰好选对了架构』，完全无法分离。此外它的预训练语料是同域 in-silico HILIC——留下另一个问题：如果只有异域数据（如反相色谱），迁移还成立吗？

核心论文的回应。MolGraphBench 的 Table 4 同时回答了这两个问题，而且回答得比论文自己意识到的更有力：

• 对第一个缺口：在四种架构上重跑同一迁移流水线，结果显示架构贡献了 30.0% 的性能跨度——迁移增益确实与架构选择深度纠缠，GNN-TL 的单架构结论因此不完整。
• 对第二个缺口：本文用异域的 METLIN 反相色谱数据预训练，GIN 仍取得 52.914 MAE，优于其从头训练的 63.783（改善 17.0%）——说明跨色谱模式的迁移是有效的，这是对 GNN-TL 范式的一次有价值的推广。

关键设计的传递与断裂。三级微调粒度协议是本文相对 GNN-TL 的方法学改进。但传递中发生了一次严重的记账错误：本文把 GNN-TL 的基线数值在 Table 2 中记为 MAE 70.40，而在正文中又写 38.6（§2.7 第 ① 条）。由于 GNN-TL 用的是同域 306K 预训练、本文用的是异域 80K 预训练，两者本就不应直接对比；把它列为可比 SOTA 并宣称超越，是这条继承链上最不严谨的一环。

3.5 Position: Graph Learning Will Lose Relevance Due to Poor Benchmarks — 2025.02 · ICML 2025 Position Track（主会）

解决了什么问题。这不是一篇方法论文，而是一篇诊断。Bechler-Speicher 等 12 位作者（含 Bronstein、Morris、Perozzi、Galkin）主张：图机器学习正因基准设计不佳而流失领域相关性。具体指控包括——基准过度集中于分子图等狭窄领域而忽视组合优化、芯片设计等高影响场景；数据集代表性差；评测方式碎片化；过度强调单一准确率指标，导致模型过拟合基准而非获得可泛化能力。核心贡献一句话：把「基准质量」本身认定为图学习进步的瓶颈。提出三条方向：更有意义的基准、更严格的评测协议、加强与领域专家协作。

遗留了什么缺口。作为 position 论文，它诊断了病却没开出可执行的处方。「更严格的评测协议」具体意味着什么——多少次重复？哪种划分？是否需要显著性检验？如何控制混淆变量？这些都留给了社区。

核心论文的回应。MolGraphBench 在引言中引用了这篇立场论文，并可被理解为对其号召的一次具体响应：把「评测协议」从「报一个数」升级为「控制变量测效应量」，并把四个判据而非单一 RMSE 作为评价维度。

4.1 演进树

4.2 演进的内在逻辑线索

推动力：从「能不能学」到「学什么」再到「谁在学」

• 2017–2018（能不能学）：核心问题是神经网络能否在分子图上超越手工描述符。MPNN + MoleculeNet 联手给出肯定答案并建立基础设施。这一阶段架构本身就是创新的全部内容。
• 2021–2025（学什么）：基础设施就位后，创新转向「往模型里加什么先验」——加大规模伪标签数据（GNN-TL）、加专家指纹（FP-GNN）、加序列建模与专家混合（MolGraph-xLSTM）、加可解释性工具（CKA）。这一阶段架构从「创新对象」退化为「实验背景」，四个层类型被随机地当作底座使用。这正是变量丢失的时刻。
• 2025–2026（谁在学）：position 论文的诊断意味着社区开始怀疑，过去五年的增量有多少是真实的。MolGraphBench 是这种怀疑的第一次定量化尝试——它问的不是「我的模型多好」，而是「你们归因归对了吗」。

阶段间的关键转折

第一个转折在 2018：MoleculeNet 之后，评价从「我在自己的数据上有效」变成「我在共同的表上数字更低」。这是巨大的进步，代价是把多维的设计选择压缩成了一维的排行榜坐标。

第二个转折在 2025–2026，正在发生：从「优化排行榜位置」转向「审计排行榜有效性」。MolGraphBench、Bechler-Speicher 的 position 论文、以及同期涌现的一批评测框架（LeMat-GenBench、AtomBench、NewtonBench）共同构成这个转折。这个转折的特征是元级化——研究对象从模型变成了研究方法本身。

社区关注点的转移轨迹

准确率（2017–2020）→ 数据效率与预训练（2020–2023）→ 可解释性与表示分析（2023–2025）→ 归因有效性与评测协议（2025– ）

MolGraphBench 处在最后这个阶段的开端，它的不完善（统计不严、混淆未控、记账出错）恰恰是这个阶段早期的典型特征：问题意识已经到位，方法论纪律尚未跟上。

6.1 理论层面

① 架构表达能力与迁移收益的定量关系。不是笼统的「研究表达能力」，而是：GIN 的 1-WL 表达上界与其迁移优势之间是否存在可测量的函数关系？具体实验：固定 RT 下游任务，在 METLIN 上以 {5k, 10k, 20k, 40k, 80k, 160k} 六个规模预训练四种架构，绘制「预训练规模 × 架构间性能跨度」曲线。可证伪的预测：若表达能力假设成立，GIN 的相对优势应随预训练规模单调扩大；若在某规模后平台化，说明优势来自别处（如求和池化保留的图规模信息）。高价值低门槛——所需算力约为本文全部实验的 1.5 倍。

② 条件互补性度量的构造。CKA 度量的是两个表示的边际差异，而融合收益取决于条件于标签的差异。需要一个新量：CI(A,B;y) = I(B;y | A) 的可估计代理——「在已知表示 A 的前提下，表示 B 还能提供多少关于 y 的信息」。路线：用 MINE 或 InfoNCE 估计条件互信息，在本文的 20 个单元上验证它能否预测 §2.5.3 的融合增益符号。如果能，这个度量将成为所有多模态分子模型的前置筛选工具。

③ 池化算子的独立效应。一个纯粹的 2×4 析因实验：{mean, sum} 池化 × {GCN, GAT, GIN, GraphSAGE}，在五个数据集上跑。唯一目的是把 §2.7 第 ⑤ 条的混淆拆开。成本 10–40 组实验，收益是让本文（以及所有把 GIN 作为底座的工作）的结论变得可归因。

6.2 工程与应用层

④ 域感知的指纹融合策略。§2.5.3 给出了可直接落地的规则草案：在生物终点（通透性、毒性、活性）与色谱/分析终点上启用指纹融合；在局部可加的物理化学终点（溶解度、logD、自由能）上禁用。验证实验：在 MoleculeNet 全部 17 个数据集上按域分层重跑 4 架构 × {纯, +FP}，检验「域 → 融合有效性」映射是否稳定。若稳定，可固化为工程默认值。

⑤ 融合机制的消融。在固定 ECFP4 的前提下对比四种融合方式——朴素拼接（本文）、门控融合、交叉注意力、残差式（指纹分支只预测 GNN 的残差）。关键控制：F_embed 与 G_embed 维度必须严格配平。预期结果：若残差式融合在 ESOL 上把 +23.76% 的劣化翻转为改善，则证明问题出在融合方式而非互补性本身。

⑥ 评测协议的最小可接受标准。社区需要一个明确的清单，而非「更严格的协议」这种号召。草案：(a) 至少 5 折交叉验证 × 3 种子 = 15 次运行，报告划分方差与初始化方差的分解；(b) 任何「A 优于 B」的断言必须附检验统计量；(c) 所有 baseline 的超参搜索预算必须与自有方法相同并公开；(d) SOTA 引用必须注明其划分协议、预训练语料与指标定义。本文若满足 (a) 与 (b)，其 4/5 数据集上的架构结论就不会被提出。

⑦ 大分子失效的机制定位。论文观察到「环数在 3/5 数据集上于高低误差组间显著不同」，但停在了相关性层面。因果实验：合成一组受控分子对（环数递增、其他描述符匹配），测量各架构的误差随环数的增长曲线，并与感受野（层数 L）做交叉。可检验假设：若失效源于感受野不足，则加深至 5–6 层配合虚拟节点或全局注意力应选择性地修复大分子误差而不影响小分子。

6.3 新兴方向

⑧ 架构选择的自动化。本文主张「层类型应作为超参」，但它自己是手工扫的四个点。下一步：把 AGG/UPD 函数族作为搜索空间做可微 NAS，并与「扫四种标准层」这个便宜基线做同等算力预算下的 head-to-head 对比。明确的空白：目前无人知道，在分子回归上，一个学出来的聚合函数是否真的优于从四个已知选项中选最好的那个。这个对比实验的缺失，正是判断「NAS 值不值」的关键证据缺口。

⑨ 跨色谱/跨测定条件的迁移基准。本文偶然证明了反相色谱 → HILIC 的跨模式迁移有效（GIN 改善 17.0%）。值得做成正式基准：多种色谱模式、多种测定协议之间的迁移矩阵，量化「域距离 × 迁移收益」的关系。在代谢组学结构注释中有直接应用价值。

⑩ 基准论文的可复现性契约。§2.7 第 ⑧ 条揭示的问题不是本文独有。具体机制提议：arXiv 的基准类论文应支持「仓库可达性」的自动化持续检查，并在论文页面展示最近一次检查的时间戳与状态。这不是技术难题，是流程空白。

本期候选池中未被抽中但同样值得跟进的 AI4Science 工作。

LeMat-GenBench: A Unified Evaluation Framework for Crystal Generative Models（2025.12，v2 2026.01）

与本文精神高度一致的材料领域版本：晶体生成模型的评测同样碎片化，各家用各家的稳定性/新颖性/唯一性定义。若你关心「评测协议审计」这条线，这篇与 MolGraphBench 应当对读。
arXiv

NewtonBench: Benchmarking Generalizable Scientific Law Discovery in LLM Agents（2025.10）

把「科学定律发现」从符号回归的玩具设定推进到需要泛化的设定。值得看的原因：它直面了 LLM 智能体评测中最难的问题——如何区分「记住了定律」与「发现了定律」。
arXiv · HTML

Six Open Questions in Machine-Learned Interatomic Potential Foundation Models（2026.06）

MLIP 基础模型领域的立场论文，与 Bechler-Speicher 的图学习 position 论文属同一体裁。适合快速建立该子领域的问题地图。
arXiv · HTML

Can LLM Design High-Quality Experiments? (OptED)（2026.08）

本期候选池中最新的一篇。自主实验设计是 AI4Science 中最接近「闭环科学」的环节，而这方面的严肃基准极少。
arXiv · HTML

Agentic Self-Driving Microscopy Benchmarks Support Qualification but Do Not Necessarily Generalize to Unseen Tasks（2026.08）

标题本身就是结论，而且是一个负面结论——这类诚实的负面基准结果在 agent 领域太稀缺了。与 OptED 配合阅读效果最佳。
arXiv · HTML

Open Materials Generation with Inference-Time Reinforcement Learning (OMatG)（2026.02，v2 2026.06）

把推理期 RL 引入晶体生成。若你在追踪 test-time scaling 从 LLM 向科学生成模型的外溢，这是一个清晰的样本。
arXiv · HTML

PoET-2: Understanding protein function with a multimodal retrieval-augmented foundation model（2025.08，NeurIPS 2025 poster）

检索增强 + 多模态在蛋白质语言模型上的落地。本期唯一进入候选池的 NeurIPS 主会级蛋白质工作。
arXiv

如果你只有五分钟：读 Table 4。四种 GNN 层类型在完全相同的迁移流水线下，MAE 从 75.621 跨到 52.914——30.0% 的性能差距，全部来自换一个卷积层。这个数字应该改变你下次搭建分子性质预测流水线时的第一步。

如果你要引用它：引用 Table 4 和它的迁移学习结论。不要引用摘要中「三个数据集上优于或相当于 SOTA」的说法（真实战绩是 1 胜 1 平 2 负 + 1 项 SOTA 基线数值自相矛盾），也不要引用「指纹非互补」的结论（论文自己的数据显示融合在 20 个单元中的 10 个有效，且严格按数据域分层）。

如果你要在此基础上做研究：先做池化析因实验（§6.1③）。在把 sum 池化与 GIN 拆开之前，本文最重要的结论是不可归因的。

以下数值均非论文原文报告，由本人从 Table 2/3/4 的原始数值重新计算：