0. 链接验证表与证据边界
下列 URL 均在 2026‑09‑06 实际访问。数字仅来自本次下载并逐页读取的 PDF;网页只用于核对 venue、版本与公开资产。核心证据以 ICML 2025 的 52 页 PMLR 定稿为准;arXiv 仅有 v1,2025‑05‑29,与定稿内容一致。OpenReview URL 可到达,但当前返回浏览器验证页,故只记为“链接存在,正文未由该页复核”。“未找到”表示在 PMLR、arXiv、作者仓库和精确标题检索中未找到,不等于绝对不存在。
| 论文 / 资源 | 会议或正式页 | arXiv(版本、日期) | 代码 | 数据 / 权重 | 项目页 / 视频 |
|---|---|---|---|---|---|
| Foundation Molecular Grammar(FMG,核心) | ICML 2025 / PMLR 267,57886–57937 | 2505.22948v1,2025‑05‑29 | 官方仓库 | 仓库含部分数据目录与脚本;可直接下载的训练权重不适用,完整实验缓存/LLM 响应未找到 | 独立项目页未找到;正式视频未找到 |
| Molecular Hypergraph Grammar(MHG) | ICML 2019 / PMLR 97 | 1809.02745,2018‑09‑08 | 作者代码 | ZINC/QM9 等公开数据;作者预训练权重未找到 | 项目页 / 视频未找到 |
| Data‑Efficient Graph Grammar Learning(DEG) | ICLR 2022 / OpenReview(访问时为验证页) | 2203.08031,2022‑03‑15 | 官方仓库 | 三类单体及聚合物数据随仓库;权重未找到 | MIT 新闻页;视频 |
| Random Walks over Interpretable Grammars(RW) | ICML 2024 Spotlight / PMLR 235 | 2403.08147,2024‑03‑13 | 官方仓库 | 专家 motif 与任务数据随代码;权重未找到 | 作者视频 |
| Grammar Prompting | NeurIPS 2023 | 2305.19234,2023‑05‑30 | 官方仓库 | DSL、PDDL 与分子生成数据随仓库;权重不适用 | 项目页 / 正式视频未找到 |
索引交叉检查:核心论文的 Semantic Scholar 入口由 arXiv 元数据指向;Hugging Face Daily Papers 与 Papers with Code 的精确标题检索均未找到核心论文独立条目,因此标记为“未收录/未找到”,不以搜索摘要补数字;ACL Anthology 不收录该 ICML 论文。候选池先从 ICML 2025 PMLR 正式 proceedings 建立,再逐篇对照 OpenReview,另以 arXiv、Hugging Face、Papers with Code 与 Semantic Scholar 查询版本或重复项。
1. 候选池、去重与随机选择
先读取 ml-report-index.md,排除最近 14 天已深度覆盖的
KLDM 晶体生成、TIMING 时序解释、DreamGen
世界模型机器人、QServe/Lumos 系统、DocVXQA 文档解释
等论文与相近主题;也主动避开更早已覆盖的多模态蛋白语言模型。以下 24
篇均为 ICML 2025 主会长文,距本次运行不足 24 个月。完整编号、标题和正式
URL 保存在 2026-09-06_candidates.tsv。执行命令
shuf -i 1-24 -n 1,实际输出 21,即
FMG;其定稿、代码、主结果、三层消融和专家审查材料齐备,因此 0
次重抽。
- From Mechanistic Interpretability to Mechanistic Biology
- Raptor: Train‑Free Embeddings for 3D Medical Volumes
- BounDr.E: Predicting Drug‑likeness
- A Variational Perspective on Generative Protein Fitness Optimization
- DiffMS: Molecules Conditioned on Mass Spectra
- Efficient Molecular Conformer Generation with SO(3)-Averaged Flow Matching
- Generalists vs. Specialists for Biophysical Sequence Optimization
- An All‑Atom Generative Model for Designing Protein Complexes
- Hierarchical Graph Tokenization for Molecule‑Language Alignment
- Flexible Models of Genetic Variant Effects
- InfoSEM for Gene Regulatory Network Inference
- Predicting Mutational Effects on Protein Binding
- Dictionary Learning from Microscopy Foundation Models
- Retrieval‑Augmented Zero‑Shot Enzyme Generation
- MF‑LAL for Drug Compound Generation
- OneForecast for Global and Regional Weather
- EEG‑Language Pretraining for Clinical Phenotyping
- Static‑Dynamic Fusion for Protein Graphs
- Steering Protein Language Models
- Multi‑Reward Structure‑Based Drug Design
- Foundation Molecular Grammar
- Offline Model‑Based Optimization for Molecular Discovery
- UniSim for Time‑Coarsened Biomolecular Dynamics
- CellFlux for Cellular Morphology Simulation
2. Motivation:小数据分子生成缺的不是又一个大模型
分子生成同时受三类约束。第一是语法约束:原子价、键类型与连接必须合法;第二是语义约束:候选物要可合成、属于目标化学类别;第三是数据约束:真实材料设计常只有十几个经专家确认的样本。FMG 的三个小数据集只有 Isocyanates 11 个、Acrylates 32 个、Chain Extenders 11 个训练例;两个“真实世界”集合 HOPV 与 PTC 也只有 316/348 个(核心 PDF 印刷页 6,表 1、2)。在这种样本量下,端到端 VAE 很容易坍缩:JT‑VAE 在三小集合的唯一率仅 5.8%、0.5%、2.3%;MolT5 更只有 0.9%、0.3%、7.1%(页 6,表 1)。
语法方法能把硬约束写进生成器。MHG 以分子超图和 HRG 保证 100% validity,但其自动拆分以原子/键等细粒度结构为主,未必形成化学家熟悉的官能团。DEG 学习拆分策略,并可针对多样性、Retro* 等目标优化,可是决策来自不可解释的神经采样器。RW 反向选择:让专家直接给 motif,语法轨迹由此可读,但知识采集重新变成人工瓶颈。
FMG 的问题因此非常具体:能否把“专家决定哪里是一个有意义基团”的工作交给已经吸收大量化学知识的多模态模型,同时把模型关在一个始终生成合法 HRG 的算法框架内?这不是让 GPT‑4o 直接吐 SMILES。核心对照显示,直接 GPT‑4 ICL 的平均 validity 只有 91%(小集合)和 71%(HOPV/PTC),而 FMG 均为 100%;说明形式系统确实承担了合法性,而模型主要承担语义选择(页 6–7,表 1、2)。
3. 论文故事线、假设与权衡
故事线分为五步。先把分子转换为以键为节点、共享原子关系为超边的超图;再抽取最大
clique,并通过三角化保证存在满足 running-intersection property 的 clique
tree。接着让 GPT‑4o 看 RDKit 渲染图:合并应构成官能团的
clique、在环上删去语义较弱的相互作用、选择最能代表类别的 root
motif。每一步的自然语言解释被保存为 design story。对同一分子重复
K 次后,另一个 LLM judge 比较故事,Swiss tournament 加
Bradley–Terry 排序,取 Top‑k
个专用语法汇总。生成时,从所有可用规则中按训练集中出现次数比例采样(页
2–6,图 1–3,§3)。
核心假设有三层:
- 表征假设: RDKit 二维图像比 SMILES 更容易让 MMFM识别局部 motif 及全局上下文。
- 知识假设: GPT‑4o 预训练中获得的化学先验足以补偿 11–348 个样本的不足。
- 审计假设: 模型写出的设计叙事既能帮助另一个模型排名,也能作为人类可理解的“质量证书”。
前两层得到部分经验支持,第三层证据最弱。图像版 FMG 在表 1–2 的 24
个非 validity 指标中总体优于 FMG‑Text,后者在没有 FMG 时仍赢得
13/24 列(页
9,§5.2);但这不等于图像中的理由忠实反映生成决策。design story
同时是决策输入、排序依据和解释输出,性能与可解释性并非独立验证。真正的权衡也很清楚:复杂、类别特异的
RHS 会提高 membership,却降低规则复用范围;加入更多 k
个语法增加多样性与 RS,又稀释类别 motif(页 7–8,§4–5.1;附录 E,页
17–18)。
4. 方程级形式化与算法流程
设分子超图 H=(V_H,E_H):V_H
是化学键;若两条键共享原子,则形成二元超边;最小环作为单独超边。由
H 的普通图 G_H 抽取最大 clique 得
G_C=(V_C,E_C)。一个 clique tree T
必须满足:每个原图节点至少出现在一个 tree node;每条超边完整落入恰好一个
node;包含同一节点 v 的 tree nodes 构成连通子树。后者即
running-intersection property(核心 PDF 印刷页 3,§3.1)。
超边替换语法写为:
G = (N, T, S, P)
N:非终结超边标签;T:终结标签;S:起始非终结符;P:产生式集合
p ∈ P : A → R
每个 parent–child clique 关系转成产生式。对第 i
个分子、第 r 次随机运行,得到 clique tree
G_C^(i,r) 与专用规则集 P(G_C^(i,r))。叙事
COT_r^(i) 由所有步骤的解释拼成。judge 产生两两胜负
y_ab,Bradley–Terry 估计能力参数:
Pr(a beats b) = exp(θ_a) / [exp(θ_a)+exp(θ_b)]
ranking = argsort_r θ_r
P_D(k) = ⊎_i ⊎_{r ∈ Top-k(i)} P(G_C^(i,r))
⊎ 是保留次数的多重集合并。若当前生成状态
g_t 可应用规则集合为
A(g_t),规则按语料频数采样:
Pr(p | g_t) = count_D(p) / Σ_{q∈A(g_t)} count_D(q), p∈A(g_t)
g_{t+1} = Apply(g_t,p)
因此 GPT‑4o 不直接决定每次采样;它在语法归纳时改变规则的粒度、树结构和根节点,之后的生成是可审计的计数采样。形式保证来自三角化、clique tree 与 Kajino 的 HRG 到分子转换,不来自 LLM 正确率。
伪代码
for molecule H_i in dataset D:
base_cliques ← bonds ∪ minimal_rings
G_C ← CLIQUE(TRIANGULATE(G_H))
for r = 1..K:
while meaningful_pair_exists:
render highlighted motifs
(u,v,reason) ← GPT-4o(pair-selection prompt)
merge(u,v); log(reason)
while G_C has cycle:
render highlighted interactions
(edge,reason) ← GPT-4o(least-important-edge prompt)
delete(edge); verify running-intersection
(root,reason) ← GPT-4o(root-motif prompt)
P_i,r ← TreeToHRG(G_C,root)
story_i,r ← summarize(all logged reasons)
ranking_i ← SwissTournament(story_i, BradleyTerry)
P_D ← multiset union of Top-k P_i,r
sample molecules by frequency-weighted applicable HRG rules
5. 关键机制与工程细节
| 组件 | 具体实现 | 形式作用 | 语义作用 | 主要风险 / 证据 |
|---|---|---|---|---|
| 基础 clique | 化学键与最小环初始化 | 保留价态与环结构 | 低层级原子结构 | 过细会失去官能团语义(页 2–4) |
| 三角化 | 对 G_H 加弦 |
保证存在合法 clique tree | 无 | 可能改变候选 clique 组合,但论文未单独消融(页 3) |
| Merge | GPT‑4o 看红色高亮 motif 图 | 合并 clique 后仍由算法维护合法性 | 形成类别/官能团 | 去掉后 Acrylates 与 Chain Extenders membership 大幅下降(页 9,表 4) |
| Edge selection | GPT‑4o 删除最弱 clique interaction | 把 clique graph 变为 tree | 保留化学上更重要连接 | MST 替代后多指标只温和变化,说明不是所有 LLM 模块同等必要(表 4) |
| Root selection | GPT‑4o 选类别核心 motif | 确定产生式方向 | 强调类别身份 | 随机 root 在多个任务降低 membership;但小样本方差很大(表 4) |
| Design story | 保存并总结每步自然语言 | 不改变单次 tree 合法性 | 人可读且可供 judge 比较 | 叙事可能是合理化而非忠实因果解释 |
| Tournament | K=10(小集合)、K=5(真实集合),4 轮
Swiss,Bradley–Terry |
选择 Top‑k 专用语法 | 偏向更类别特异的设计 | 对 RS、diversity 几乎无明显 Top‑k 优势(页 8;附录 E) |
| 生成 | 规则频数比例采样 | 始终落在语法语言内 | 继承训练分布的规则偏好 | 没有目标性质优化或湿实验闭环 |
| API 设置 | 论文只写 GPT‑4o;仓库 src/algo/hg.py 先定义 temperature
0/seed 42/top_p 0,随后被 settings={} 覆盖 |
无 | 影响运行稳定性 | 访问到的 2025‑11‑11 commit 中实际调用使用 provider 默认采样;不证明论文实验当时一定如此 |
论文对基线采用三种适配:VAE 从头训练 (T)、预训练后微调
(FT)、或把小数据编码的 latent 拟合 Gaussian 再 posterior
interpolation (I);GPT‑4 ICL
用全部小数据或真实集合的随机子集;MolT5/Text+Chem T5 每次随机采 5
个训练分子、最大生成长度 512(附录 B,印刷页 13)。小集合各生成
10,000 个,HOPV/PTC 各 1,000 个(页 6
脚注 1;附录 C)。训练硬件、总 API 调用数、token
量、美元成本和墙钟时间均未报告。
6. 数据集、基准与指标
| 数据集 | 规模 | 目标 | 论文生成数 | 关键风险 |
|---|---|---|---|---|
| Isocyanates | 11 | 异氰酸酯单体 | 10,000 | 类别窄,定义 motif 简单;结果易被规则硬编码替代 |
| Acrylates | 32 | 丙烯酸酯单体 | 10,000 | 图像/文本与 k 的权衡最强 |
| Chain Extenders | 11 | 聚合物链扩展剂 | 10,000 | 样本极少,VAE 比较天然不利 |
| HOPV | 316 | 有机光伏分子 | 1,000 | 论文承认 membership 定义不严格;FMG membership 仅 38% |
| PTC | 348 | 毒理相关化合物 | 1,000 | 类别异质,GPT‑4 ICL membership 反而最高 |
| MOSES / ZINC 子集 | 1,000,占 1.9M 的 0.05% | 大规模分布匹配压力测试 | 30,000 | FMG 与用 100% 数据训练的 leaderboard 方法并非等数据比较(附录 G) |
指标含义:Validity/Unique/Novelty 是合法、去重、训练集外比例;Diversity 是平均 pairwise Tanimoto distance;RS 是 Retro* 模型找到合成路线的比例;Membership 是符合目标类别规则的比例(页 6,§4)。RS 是模型代理指标,不是实验室成功率;高 validity 也只代表图结构/价态规则可解析,不代表稳定、无毒或可制造。HOPV/PTC 的 membership “not strictly defined” 是作者原话所表达的限制(页 7)。
7. 完整主结果数据矩阵
7.1 三个小样本基准(ICML 定稿表 1,印刷页 6)
下表完整保留六个代表方法在五类指标上的结果;每组三值依次为 Isocyanates / Acrylates / Chain Extenders。Validity 是三任务平均。粗体只标这一代表子集中的逐列最优;完整原表另含 JT‑VAE、Hier‑VAE、MHG、STONED、MoLeR(I)、两种 T5 与 FMG‑Text。
| 方法 | Valid avg ↑ | Unique % ↑ | Diversity ↑ | Retro* % ↑ | Membership % ↑ |
|---|---|---|---|---|---|
| Train data | 100 | 100 / 100 / 100 | 0.61 / 0.67 / 0.80 | 100 / 100 / 100 | 100 / 100 / 100 |
| MoLeR (FT) | 100 | 87.1 / 40.7 / 100 | 0.86 / 0.80 / 0.91 | 69.2 / 97.7 / 70.7 | 77.3 / 72.2 / 97.3 |
| STONED | 100 | 100 / 99.8 / 99.8 | 0.85 / 0.84 / 0.93 | 5.63 / 11.2 / 6.78 | 79.8 / 47.9 / 61.0 |
| DEG | 100 | 100 / 100 / 100 | 0.86 / 0.86 / 0.93 | 27.2 / 43.9 / 67.5 | 96.3 / 69.6 / 93.5 |
| GPT‑4 (ICL) | 91 | 73.0 / 35.1 / 63.5 | 0.86 / 0.78 / 0.87 | 84.4 / 95.0 / 98.0 | 93.7 / 99.7 / 99.5 |
| FMG | 100 | 100 / 100 / 100 | 0.73 / 0.46 / 0.85 | 61.7 / 93.0 / 99.1 | 99.6 / 100 / 99.8 |
与最直接的自动语法基线 DEG 比,FMG 的 RS 分别提高 +34.5、+49.1、+31.6 pp,相对 +126.84%、+111.85%、+46.81%;membership 提高 +3.3、+30.4、+6.3 pp。但 diversity 同时下降 −0.13、−0.40、−0.08,相对 −15.12%、−46.51%、−8.60%。因此,“更容易被 Retro* 规划且更像目标类别”的结论成立,“更全面覆盖化学空间”不成立。尤其 Acrylates 的 diversity 从 0.86 降至 0.46,几乎腰斩。
7.2 HOPV 与 PTC(ICML 定稿表 2,印刷页 7)
每格为 HOPV / PTC。这里保留六个能揭示不同权衡的方法;完整原表还含 JT‑VAE、Hier‑VAE、MoLeR(I)、MolGPT、MolT5、Text+Chem T5 和 FMG‑Text。
| 方法 | Valid avg % ↑ | Unique % ↑ | Novelty % ↑ | Diversity ↑ | Retro* % ↑ | Membership % ↑ |
|---|---|---|---|---|---|---|
| Train data | 100 | 100 / 100 | N/A / N/A | 0.86 / 0.94 | 51 / 87 | 100 / 30 |
| MoLeR (FT) | 100 | 100 / 99 | 100 / 99 | 0.90 / 0.92 | 42 / 71 | 60 / 30 |
| DEG | 100 | 98 / 88 | 99 / 87 | 0.93 / 0.95 | 19 / 38 | 46 / 27 |
| RW(专家 motif) | 100 | 100 / 100 | 100 / 100 | 0.89 / 0.93 | 58 / 60 | 71 / 22 |
| GPT‑4 (ICL) | 71 | 95 / 84 | 99 / 98 | 0.91 / 0.93 | 46 / 56 | 53 / 89 |
| FMG | 100 | 100 / 100 | 100 / 92 | 0.93 / 0.93 | 70 / 78 | 38 / 46 |
相对 RW,FMG 的 RS 为 +12/+18 pp,相对 +20.69%/+30.00%,这支持“无需专家 motif 也能找到更可规划样本”。但 HOPV membership 从 71% 降到 38%(−33 pp,−46.48%);PTC 则从 22% 升到 46%(+24 pp)。一个方法在同一指标跨数据集反向,说明效果取决于类别定义与 prompt,而非稳定的通用语法优势。
7.3 MOSES 分布压力测试(附录表 8,印刷页 19)
| 模型 | 训练占比 | Valid ↑ | Unique@10k ↑ | FCD‑TestSF ↓ | SNN ↑ | Scaf ↑ | IntDiv ↑ | Novelty ↑ |
|---|---|---|---|---|---|---|---|---|
| CharRNN | 100% | 0.97±0.03 | 1.00±0.00 | 0.52±0.04 | 0.56±0.01 | 0.11±0.01 | 0.86±0.00 | 0.84±0.05 |
| VAE | 100% | 0.98±0.00 | 1.00±0.00 | 0.57±0.03 | 0.58±0.00 | 0.06±0.01 | 0.86±0.00 | 0.69±0.01 |
| JTN‑VAE | 100% | 1.00±0.00 | 1.00±0.00 | 0.94±0.05 | 0.52±0.01 | 0.10±0.01 | 0.86±0.00 | 0.91±0.01 |
| LatentGAN | 100% | 0.90±0.00 | 1.00±0.00 | 0.83±0.01 | 0.51±0.00 | 0.11±0.01 | 0.86±0.00 | 0.95±0.00 |
| FMG | 0.05% | 1.00±0.00 | 1.00±0.00 | 26.30±0.41 | 0.29±0.00 | 0.12±0.00 | 0.90±0.00 | 1.00±0.00 |
FMG 在无条件合法、唯一、多样、新颖上强,但 FCD 是 CharRNN 的 50.58 倍(26.30 对 0.52),甚至比 HMM 的 25.43 还坏 3.42%;SNN 也只有 0.29。作者明确写“direct comparisons should not be made”,所以这张表只能说明极小数据语法能扩张,但严重脱离目标分布,不能用来宣称 MOSES SOTA。
FMG 的主要收益集中在 Retro* 可规划率
三个极小数据集上的 Retro* 成功率;单位为百分比,单 Y 轴。FMG 相对 DEG 提升 31.6–49.1 个百分点。
8. 逐层消融、超参敏感性与相变
8.1 图像 vs 文本
FMG‑Text 把图像改成原子编号 SMILES + motif atom list。小集合 FMG 相对 FMG‑Text 的 RS 为 61.7 vs 33.1、93.0 vs 87.1、99.1 vs 98.5,绝对 +28.6/+5.9/+0.6 pp;diversity 几乎相同(0.73/0.46/0.85 对 0.73/0.46/0.84)。真实集合 RS 也只高 1/1 pp(70/78 对 69/77),membership 反而 HOPV 低 5 pp、PTC 高 13 pp(表 1–2)。所以“图像全面更好”过强:最可信的增益集中在 Isocyanates RS,而不是所有数据与指标。
附录 F 还记录第一次 Tagged‑SMILES 尝试失败:GPT‑4o 把带 ring closure 的 cyclopentane motif误读成直链 CCCCC;第二次才改为全部原子编号(印刷页 18)。这支持图像对局部强调更自然,也暴露文本基线并不是唯一或最强的分子序列编码。
8.2 Merge / Edge / Root(表 4,印刷页 9)
k=5 时,FMG Avg 在三小集合的 RS 是 44.3±3.4 /
87.4±1.5 / 91.9±3.8。去 merge 后为 32.6±5.7 / 91.0±2.0
/ 97.4±0.8:Isocyanates 下降 11.7
pp,但后两者反而上升;membership 则由 60.14±13.63 / 35.48±4.02 /
28.30±13.25 变成 95.75±4.16 / 16.61±0.78 /
15.48±1.11。这说明 merge 不只“增加质量”,它重新分配 RS
与类别性。
去 edge(用 MST)后 RS 为 57.9±6.5 / 93.5±1.8 / 99.9±5.4,三列都高于 FMG Avg;但 membership 变为 45.81±15.34 / 37.44±5.32 / 38.56±10.58,仍是混合结果。论文写“only slightly worse”并不适合概括全部列。去 root 后 diversity 提高到 0.79±0.03 / 0.85±0 / 0.83±0.02,RS 49.1±7.0 / 89.5±2.6 / 91.9±10.9,membership 多数降低。单模块消融显示没有单调优势;完整 FMG 的价值是可控折中,而非每个 LLM 决策都贡献正向平均性能。
8.3 k 的敏感性与相变
图 4/6 给出小集合 k=1…10、HOPV/PTC
k=1…5。论文只提供曲线,没有逐点数字表,因此本报告不从像素补造值。可严谨推出三件事:低
k membership 近 100%;随 k 增大 membership
持续下降,而 diversity 与 RS 上升;Top‑k 与前 k 次运行(1‑k)在
diversity/RS 上“无显著差异”,差别主要在类别 motif(页 8;附录
E)。这是一种结构性相变:规则池从“少量复杂、类别特异
RHS”变成“更多简单、可复用 RHS”。最优 k
依赖用户到底优先类别纯度还是覆盖与可合成率;论文没有给自动选
k 的验证集准则。
8.4 统计显著性
作者只对 LLM judge 与专家的 77/108=71%
一致率给出独立公平硬币零假设下 p=1.1×10⁻⁵(附录 D,页
16–17,表 7)。本报告复算 Wilson 95% 区间约
62.15%–78.98%;但同一分子做 3 次、同一 judge
且翻转顺序,观测并非独立,原 p 值可能过于乐观。
主表 1–2 未报告跨独立 grammar induction
运行的置信区间或显著性检验。附录 C 的解释是 1,000/10,000
生成样本足以吸收采样误差,但这只降低“从固定语法采样分子”的 Monte Carlo
误差,不能吸收 GPT‑4o、tree decomposition、tournament
与训练基线的运行间方差。表 4 报告
±,却没有清晰说明是标准差、标准误还是其他量;因此不能据此判断模块差异显著。
9. 真正贡献、可复用设计与迁移潜力
真正贡献不是“GPT‑4o 懂化学”,而是一个可复用的神经符号接口模式:把不可验证的模型知识限定为局部离散选择,把合法性留给可验证算法。若 LLM 合并 motif 的理由很糟,三角化与 HRG 仍可保证生成结构在语法语言内;这比直接生成 SMILES 更容易分层审计。
第二个贡献是把自然语言 artifacts 变成候选结构的辅助评价信号。它的忠实性尚未证实,但作为专家复核 UI 很有价值:人可以沿“合并—删边—选根”回放,而不是只看一个黑箱分数。第三个贡献是明确展示小数据下“类别性—覆盖—可合成性”的 Pareto 关系,提醒 AI4Science 不能靠单一 validity 或 novelty 排名。
可迁移设计包括:在蛋白 domain decomposition 中让模型只选结构域边界、让几何约束确保链合法;在材料晶体中只让模型排序局部配位 motif、让群对称保证器负责空间群;在合成路线中让模型提出反应模板、让化学规则与库存检查做裁决。迁移前提是任务存在“可形式验证的骨架 + 难以编码的语义选择”。若连合法性都无法形式化,把 LLM 放进循环不会自动产生可信系统。
10. 相关工作:问题来源与技术传递链
10.1 MHG(Kajino, ICML 2019)
解决什么: 把分子转为超图,用 context‑free HRG
编码价态与结构约束,使单个 VAE 达到 100% validity(MHG
PDF 页 1、8,表 1)。遗留缺口:
自动归纳的规则细粒度且以硬约束为主,不直接表达类别官能团和可合成语义。FMG
如何回应: 保留 MHG 的合法生成与 clique tree
框架,把“如何分解”中的离散选择交给 MMFM。设计如何传递:
FMG 的 H=(V_H,E_H)、HRG 四元组、规则应用和 valid conversion
都直接继承 MHG;所以合法性功劳不能全算给 GPT‑4o。
10.2 DEG(Guo et al., ICLR 2022 Oral)
解决什么: 用可学习策略优化 graph grammar construction,在约 20 个单体样本和 117 个聚合物样本上兼顾分布、合成与多样性(DEG PDF 页 1–3)。遗留缺口: 策略网络的拆分决策不可解释,且需要外部指标定义优化方向。FMG 如何回应: 用语言模型化学先验替代神经拆分策略,无需为每个数据集训练决策器,并保留自然语言理由。设计传递: 三个小数据集、DEG 作为主要自动语法基线、RS/diversity/membership 评价框架被 FMG 沿用,因此 FMG 对 DEG 的 +31.6–49.1 pp RS 是最可比的证据。
10.3 Random Walks over Interpretable Grammars(Sun et al., ICML 2024 Spotlight)
解决什么: 让专家定义 motif,再把分子表示为语法设计空间上的 random walk,统一生成与性质预测;专家 motif 提供可解释的层级结构(RW PDF 页 1–3、5)。遗留缺口: motif 质量依赖专家,扩展到新化学类别需要重复昂贵标注。FMG 如何回应: 直接把 expert motif discovery 自动化,并在 HOPV/PTC 与 RW head‑to‑head。设计传递: FMG 的真实世界数据、membership 定义与“专家 motif 作为上限/基线”的论证来自 RW;但 HOPV 上 FMG 38% 对 RW 71% 证明自动替代尚未等价。
10.4 Grammar Prompting(Wang et al., NeurIPS 2023)
解决什么: 每个示例配一个最小 BNF 子语法,推理时先预测语法再受约束地产生 DSL;在 semantic parsing、PDDL 和 SMILES 上改善 few‑shot 结构生成(论文 PDF 页 1–4)。遗留缺口: 需要已有完整 DSL grammar,重点是字符串语法而非从分子图发现化学 motif。FMG 如何回应: 把“最小专用语法”扩展到图结构,并让模型介入语法归纳而不只是选择已知 BNF 规则。设计传递: specialized grammar、规则作为中间推理对象、约束生成与 LLM reason‑then‑generate 的范式直接传到 FMG;区别是 FMG 把形式正确性留给 clique/HRG 算法。
10.5 非线性技术演进树
┌─ SMILES / SELFIES ── CLM / ICL
│ 短板:语法失败、少样本重复
分子合法性 ── MHG/HRG ──┤
100% validity ├─ DEG:学习拆分策略 ── 高 RS / 黑箱决策
│
└─ 专家 motif ── RW:可解释随机游走
│
DSL few-shot ── Grammar Prompting ─────┤
specialized grammar ▼
FMG:图像 + GPT‑4o 语义选择
│ + HRG 形式护栏
├─ design story → LLM tournament
└─ Top-k 规则池 → 类别性/覆盖 Pareto
演进动力有三次转折:从字符串合法性转向图语法硬保证;从固定、细粒度语法转向可学习类别子结构;再从不可解释策略或人工 motif 转向 foundation model 先验。FMG 的新意正处在第三次转折,但也把系统风险从“模型训练不足”换成“封闭模型漂移、叙事忠实性与成本不可见”。
10.6 跨论文对标
| 方法 | 硬合法性 | motif 来源 | 是否需训练语法策略 | 解释载体 | 小数据适配 | 主要缺口 |
|---|---|---|---|---|---|---|
| MHG | HRG | 算法细分 | 否 | 规则本身 | 中 | 语义/类别性弱 |
| DEG | HRG | 神经策略 | 是 | 规则可见,决策黑箱 | 强 | 依赖指标,理由不可读 |
| RW | 语法 | 专家 | 否 | motif + random walk | 强 | 专家标注成本 |
| Grammar Prompting | constrained decoding | 预定义 BNF | 否 | specialized grammar | 强 | 不归纳分子图 motif |
| FMG | HRG + clique tree | GPT‑4o 图文选择 | 不训练模型,但需大量 API 调用 | 规则 + design story | 强 | 闭源依赖、稳定性/忠实性未证 |
11. 论文自述限制
- 覆盖与多样性: 作者指出复杂 RHS 规则适用范围更窄,在约 30 个或更少样本的极端设置会导致规则数少、coverage/diversity 低(印刷页 7,表 1 后讨论)。这正对应 Acrylates diversity 0.46。
- 类别定义与
k权衡: HOPV/PTC membership 没有严格定义,且k在 membership 与{diversity, RS}间形成尖锐折中(页 7–8;附录 E)。所以不能给所有数据集使用一个默认k并称为最优。 - 专家直觉: 专家总结称,GPT‑4o 在需要经验知识、多重合理解释或更深解释时会遗漏替代视角;高难任务仍需 refinement(附录 H.7,印刷页 52)。
12. 独立批判(证据 → 推论)
- [统计设计] 因为主表只对固定语法生成 1,000/10,000 个样本,却没有重复完整 GPT‑4o 归纳—tournament 流程,且作者声称“大样本吸收 error bars”(附录 C),所以它只能控制分子采样误差,不能支持方法级稳定性结论。
- [显著性] 因为 judge 的 108
次比较由同一批分子、同一模型每个重复 3 次并含顺序翻转,独立 Bernoulli
假设不成立;所以
p=1.1e−5不能直接当作泛化到新分子/新专家的一致性证据。71% 的 Wilson 95% 区间仍宽至约 62.2%–79.0%。 - [解释忠实性] 因为 design story 由参与决策的同类模型事后总结,又被同类 LLM 用作排名输入,而专家只评价叙事化学上是否合理,所以“解释合理”并不等于“解释忠实地导致该 tree”;需要干预叙事、固定 tree 的因果测试。
- [外部效度] 因为所有语义模块只用未注明快照的 GPT‑4o,未与 Gemini、开源 VLM 或不同 provider 版本 head‑to‑head,所以不能把结果归因于“MMFM”这一方法类别;它可能是单个服务模型与 RDKit 图风格的特例。
- [再现性] 因为访问到的公开代码把 temperature 0、seed
42、top_p 0 写入
settings后立即用空字典覆盖,README 还含/home/msun415/...绝对路径,且完整缓存与 token 成本未公开,所以当前仓库不能一键重现论文的随机性与账单。该代码 commit 晚于论文,故只能说明当前发布状态,不证明论文实验本身使用了空设置。 - [基线公平] 因为 11 个样本时从头训练 JT‑VAE、Hier‑VAE 几乎必然不利,而 FMG 调用在海量预训练数据上学习的 GPT‑4o;所以“数据效率”只计算任务内样本,没有计算 foundation model 的预训练与 API 资源,不能等价于总数据/总计算效率。
- [指标有效性] 因为 RS 来自 Retro* 代理且 HOPV/PTC membership 未严格定义,FMG 又在 HOPV 以 +12 pp RS 换来 −33 pp membership,所以不能从表 2推出真实可合成、类别正确的新光伏材料更多;需要实验室或至少多规划器一致性验证。
- [分布匹配] 因为 FMG 在 MOSES 的 FCD 26.30,是 CharRNN 0.52 的 50.58 倍,SNN 也只有 0.29,所以高 validity/novelty 可能来自远离训练分布,而不是发现有用新颖性;部署时必须把分布外程度与性质收益共同纳入 Pareto。
13. 开放挑战:可操作的 head‑to‑head 空白
理论
- 解释忠实性实验: 固定完全相同的 clique tree,随机交换真实 story、模型生成的反事实 story 与无 story,比较 judge 排名、专家偏好和后续生成指标;若 story 是证书,错误叙事应被识别而不改变形式输出。
- 规则复杂度界: 在相同规则数/平均 RHS 大小约束下比较 FMG、DEG、专家 RW,画 membership–diversity–RS 三目标 Pareto;这样才能分离“模型知识”与“更复杂规则”的贡献。
- 相关观测检验: 对 judge 一致率用 molecule 为 cluster 的 bootstrap 或混合效应 logistic regression,对比论文独立 coin‑flip p 值;预注册 primary endpoint 与最小有意义差异。
工程与应用
- 模型漂移实验: 锁定同一 100 分子与 prompt,比较 GPT‑4o 固定快照、Gemini、开源 Qwen‑VL 三类模型,各做 ≥10 次完整归纳;报告规则 Jaccard、tree edit distance、API 成本、墙钟与五指标方差。
- 等预算基线: 给 DEG 与 FMG 相同美元或 GPU-hour,另加“人类 2 小时 motif 标注”RW;比较达到 RS≥70% 且 membership≥70% 所需成本,而非只比任务数据量。
- 湿实验闭环: 在一个目标材料类别中让 FMG、RW、DEG 各给 20 个候选,由盲法化学家筛选,再对可购原料、路线长度、收率与目标性质做 head‑to‑head;Retro* 只作为事前协变量。
新兴方向
- 开放 VLM + verifier: 对每个 merge 让三个模型提案,由 SMARTS/反应模板 verifier 否决;与单 GPT‑4o 比较错误 motif、RS、membership 和成本,验证“proposer–verifier”是否优于 narrative tournament。
- 主动选择
k: 用 held‑out 类别样本或 Bayesian multiobjective optimization 自动选k,对比固定 1/5/10,指标为超体积与跨 seed 稳定性;论文目前只有曲线,没有选择规则。 - 从 2D 到 3D: 同一分子用 RDKit 2D、多个 3D conformer、SMILES 原子编号三种输入,比较对立体化学敏感任务的 grammar;这能检验图像优势是否只来自高亮便利。
14. 近期工作雷达(未作为核心定量来源)
- DiffMS(ICML 2025):以质谱条件生成分子,代表“观测驱动”的 inverse design;比 FMG 的类别 prompt 更具体,但不直接解决可解释语法。
- LDMol(ICML 2025):在结构信息 latent 中做 text‑to‑molecule diffusion;适合与 FMG 比较自然语言可控性和 validity 的责任边界。
- Hierarchical Graph Tokenization(ICML 2025):把层级图 token 用于 molecule–language alignment;它提供可学习 token,而 FMG 追求可读产生式,值得做同数据语义检索与专家解释对照。
- GenMol(ICML 2025):以离散扩散构建药物发现 generalist;规模化能力更强,但形式可验证的 rule trace 较弱。
- Offline Model‑based Optimization for Real‑World Molecular Discovery(ICML 2025):把重点移到离线性质优化与 distribution shift;可补 FMG 只做无条件生成的缺口。
- All‑atom Inverse Protein Folding through Discrete Flow Matching(ICML 2025):展示全原子结构条件的离散生成,提示 FMG 若迁移到蛋白,不能停留在二维 motif。
- Retrieval‑Augmented Zero‑Shot Enzyme Generation(ICML 2025):用检索把目标底物知识注入酶生成;与 FMG 的 parametric chemical knowledge 形成可审计的外部证据路线。
15. 结论与阅读建议
FMG 值得看,因为它展示了一个比“让 LLM 直接做科学”更成熟的架构:模型只做语义含量高、答案难以手写的局部选择,形式系统负责合法性,生成规则和叙事留给人审计。核心结果不是全胜,而是可合成性与类别性的重新分配:相对 DEG,三个小任务 RS 增加 31.6–49.1 pp,但 diversity 下降 8.6%–46.5%;HOPV 相对专家 RW 的 RS +12 pp,却 membership −33 pp。
因此,FMG 最适合作为专家候选语法生成器或 interactive design assistant,而不是无需复核的分子发现系统。若要进入真实发现闭环,优先补三件事:重复完整归纳流程的方差、开放模型/固定快照复现,以及独立化学家加湿实验对 RS 与 membership 的效度验证。
证据与生成说明: 本报告实际读取核心 PMLR PDF(52
页)及 MHG、DEG、RW、Grammar Prompting 四篇 PDF,并审计公开代码 commit
6c2e0da(2025‑11‑11)。候选池编号与 shuf
结果可由同目录 TSV 复核。所有复算均从所注明表格做简单差值、相对百分比或
Wilson 区间;未从曲线像素估数。ml-report-index.md
已在本次运行追加记录。HTML 由 Warm Editorial Report
固定模板生成,并通过该 skill 的结构验证器(0 error / 0
warning)及静态响应式、长链接和宽表溢出检查;本机有 Playwright 模块,但
/usr/bin/chromium、/usr/bin/chromium-browser、/opt/pw-browsers
与 Playwright 缓存均无可执行
Chromium,因此无法执行要求的浅色、深色、移动端真实截图检查,此项明确标为未完成。