ICML 2025 Spotlight · AI4Science

结构 token 的问题不只在压缩，而在监督几何

每日 ML/AI 深度论文追踪 · 2026-08-16

ICML 2025 Spotlight周日：AI4Science28 篇候选随机抽样

DPLM-2.1 用位级监督、几何偏置与结构表征对齐，让 650M 模型在 PDB 时间切分上将 RMSD 从 5.307 降至 2.370；但 CAMEO、物理有效性与复现完整性仍划出清晰边界。

日期：2026-08-16　　领域：AI4Science / 蛋白质基础模型　　核心论文：Elucidating the Design Space of Multimodal Protein Language Models（ICML 2025 Spotlight）

一句话定位：问题不只是“把三维结构离散成 token 会丢信息”，更是“把相近结构压成彼此无关的类别索引，让语言模型学错了监督几何”；DPLM-2.1 用位级监督、几何归纳偏置与结构表征对齐，把离散蛋白语言模型重新接回连续三维空间。

0. 链接验证表

以下链接均于 2026-08-16 实际访问；“未公开/未找到”表示在论文、项目页、会议页与官方仓库中未核实到独立入口。arXiv 日期按具体版本记录。

论文 会议主页 / 出版页 arXiv / 预印本 Code 仓库 数据集 / 权重 项目主页 / 视频
核心：DPLM-2.1 / Elucidating the Design Space… ICML 2025 / PMLR 267 2504.11454v3，2025-06-12 bytedance/dplm DPLM-2 Bit 650M 权重；PDB+SwissProt 数据 项目页；视频未找到
DPLM ICML 2024 / PMLR 235 2402.18567v2，2024-10-16 同一官方仓库 仓库中的模型入口；UniRef50 入口见仓库 项目页
DPLM-2 ICLR 2025；论文入口由 arXiv 注明 2410.13782v1，2024-10-17 同一官方仓库 PDB+SwissProt；多尺度权重见仓库 项目总页
ESM3 Science，2025-01-16 bioRxiv v1，2024-07-02 Biohub/esm 训练数据未公开；开放模型入口见仓库 官方发布页；公开视频
REPA ICLR 2025 OpenReview 2410.06940v4，2025-06-18 sihyun-yu/REPA 预训练视觉编码器依赖见仓库；独立数据集/权重未找到 项目页；视频未找到

可达性说明。 Science 页面在本次自动抓取中返回 403，但 DOI、PubMed 与官方发布页相互印证；因此将其标记为“出版链接存在但正文自动访问受限”，未从该页面抽取任何定量数字。OpenReview 个别页面触发浏览器验证，本文只用其确认会议信息，所有核心数字均来自可读取的 arXiv v3/PMLR 正文。

0.1 候选池与随机抽取记录

候选来自 ICML 2025 PMLR 267 的正式论文目录，满足运行日 AI4Science 轮转、距今不超过 12 个月、且与索引近 14 日主题不重复。候选共 28 篇：

  1. From Mechanistic Interpretability to Mechanistic Biology；2. A Variational Perspective on Generative Protein Fitness Optimization；3. Boosting Protein Graph Representations through Static-Dynamic Fusion；4. Elucidating the Design Space of Multimodal Protein Language Models；5. NMA-tune；6. Aligning Protein Conformation Ensemble Generation with Physical Feedback；7. Diffusion on Language Model Encodings for Protein Sequence Generation；8. PPDiff；9. Flexibility-conditioned Protein Structure Design；10. Protriever；11. All-atom Inverse Protein Folding；12. CFP-Gen；13. Protein Structure Tokenization；14. ReQFlow；15. Bridging Protein Sequences and Microscopy Images；16. Beyond Atoms；17. Pretraining GFlowNets for Molecular Graph Generation；18. Offline Model-based Optimization for Molecular Discovery；19. Foundation Molecular Grammar；20. Kinetic Langevin Diffusion for Crystalline Materials；21. Open Materials Generation；22. All-atom Diffusion Transformers；23. OmniArch；24. LLM-SRBench；25. SCENT；26. Retrieval Augmented Zero-Shot Enzyme Generation；27. Physics-Informed Weakly Supervised Interatomic Potentials；28. Physics-informed Temporal Alignment for PDE Foundation Models。

执行 shuf -i 1-28 -n 1 得到 4。论文有正式全文、14 张以上定量表/附表、代码与权重，资料充分，重抽 0 次。候选池总入口：ICML 2025 PMLR 267。

1. 核心论文深度解析

1.1 标题与核心定位

这篇工作的真正创新不是又造了一个更大的蛋白模型，而是把多模态蛋白语言模型拆成四个可检验层级：监督标签、生成空间、网络归纳偏置、训练数据覆盖。作者证明，结构 tokenizer 的重建误差只是上限之一；更致命的是语言模型面对无拓扑关系的 codebook index 时，分类目标与几何相似性不一致。于是解决路径从“换更好的 tokenizer”转向“改变预测单位、补回连续残差、注入成对几何、借教师表征平滑监督”。

1.2 Motivation：具体痛点与定量证据

多模态 PLM 希望统一建模氨基酸序列 () 与三维骨架 ()。结构先由编码器压到连续 latent，再量化为离散 token，语言模型才能像处理词表一样处理三维结构。这个接口带来三个可量化故障。

第一是量化损失。论文表 1（PDF 第 3 页）中，连续 latent 重建 RMSD 为 1.3127、TM-score 为 0.9733；量化后分别恶化到 1.9806 与 0.9385。RMSD 增加 0.6679，即 50.88% 相对恶化；TM-score 绝对下降 0.0348。离散化并非免费压缩。

第二是tokenizer 重建好，不等于语言模型生成好。表 2（PDF 第 3 页）中，ESM3 tokenizer 的重建 RMSD 0.7248，远优于 DPLM-2 的 1.9806；但同架构模型在 CAMEO 2022 上使用 ESM3 codebook 后，生成 RMSD 是 8.4424，反而差于 DPLM-2 codebook 的 7.7025。也就是说，重建误差降低 63.41%，生成误差却增加 9.61%。这直接否定了“只优化 tokenizer 重建即可”的朴素路线。

第三是索引监督严重失真。表 3（PDF 第 3 页）显示，DPLM-2 在 CAMEO 上的完整结构索引准确率仅 0.0864，而按 bit 展开后准确率为 0.7720；PDB 时间切分上是 0.1188 对 0.7932。一个索引由多个二元位编码，两个几何相近 token 可能只差一位，却在 softmax 类别空间里被当成完全无关；反之，索引数值相近也不表示几何相近。问题的新颖性正在这里：失败不是容量不足的笼统说法，而是监督度量与结构度量错配。

为什么值得解决？统一模型可执行无条件序列—结构共生成、序列给定的折叠、结构给定的逆折叠、motif scaffolding 与表征学习；如果结构通道只是粗糙符号，统一性便是表面统一。更现实的是，650M 模型若能靠设计而非堆参数接近 3B 专用折叠器，意味着研究团队可在更小算力预算下开展蛋白生成实验。

1.3 论文故事线：从诊断到组合设计

论证链条分四次转折。

  1. 先把瓶颈拆开。 作者比较连续/离散重建、不同 tokenizer、索引/位准确率，说明“tokenizer 有损”与“LM 不会预测 token”是两个独立问题。
  2. 再改变监督单位。 Bit-based modeling 把 (2^K) 类索引分类改成 (K) 个二元分类，让损失函数看到局部位差；ResDiff 学量化残差；Hybrid FM 则把 encoder–PLM–decoder 重新解释为坐标空间去噪器。
  3. 承认序列 Transformer 缺几何。 GeoDPLM 引入 residue-pair 表征、pair bias、transition 与可选 triangle operation；REPA 从 ESMFold 抽取平滑的结构语义作为教师。
  4. 最后检验模块是否正交。 表 7 的关键结论是“更多模块不一定更好”：Geo+Bit 的多样性 0.900，而加入 FM 后降到 0.575；All* 的 PDB RMSD 2.379，也未优于 Bit+FM+ResDiff+SFT 的 2.370。作者因此推荐 Geo + Bit，而不是模块全家桶。

隐含权衡也很清楚：离散 token 保留语言模型的可扩展性与统一接口，却牺牲连续几何；FM恢复坐标精度，却因 ODE 采样轨迹压低多样性；SFT优化折叠，却牺牲无条件共生成；triangle operation 更“像 AlphaFold”，却让训练慢 3.9×/6.8×，指标没有相称回报。

1.4 方法论与机制解剖

1.4.1 形式化定义

蛋白由 (L) 个残基组成：

[ =(r_1,,r_L),r_i=(s_i,x_i), s_i{1,,20},;x_i^{4}. ]

DPLM 的吸收式离散扩散前向核为：

[ q({(t)}{(t-1)})= !(^{(t)}; _t^{(t-1)}+(1-t){noise}), ]

反向目标可化为带噪声层级权重的交叉熵。DPLM-2 将结构 () 编码为 (_{cont})，LFQ 逐维量化：

[ {cont} {quant}{-1,+1}^{LK} z_{index}={k=1}{K}(z{[k]}{quant}>0)2^{k-1} . ]

原始多模态目标对序列与结构索引做联合预测：

[ _t=. ]

位级目标将后一项展开成 (K) 个二元预测：

[ ^{bit}_t=. ]

ResDiff 对残差 (={cont}-{quant}) 建模：

[ ={r,,t} |-(r_t,t,h,z{quant})|2^2, {cont}=z_{quant}+. ]

Hybrid FM 把整体定义为坐标去噪器 (_=DecPLMEnc)，Euler 步为：

[ s(_t,t) +_t, ]

并在每步先做 Kabsch 对齐。REPA 则用三层 MLP 投影 PLM 隐状态，与 ESMFold 表征最大化余弦相似：

[ {REPA}=-1L{i=1}^{L} (y_i,h_(h_i)). ]

1.4.2 流程图

蛋白骨架 x ──Enc──> 连续 z_cont ──LFQ──> K 位 z_quant ──> index
    │                         │                   │
    │                         └─残差 r──────────> ResDiff 精修
    │                                             │
序列 s ───────────────> 掩码离散扩散 PLM <────────┘
                              │
                  ┌───────────┼─────────────┐
                  │           │             │
               Bit 监督    Geo pair bias   REPA←ESMFold
                  │           │             │
                  └───────────┴─────────────┘
                              ↓
                Dec 得到骨架 / FM 直接坐标采样

1.4.3 关键机制与工程细节

机制 设计选择 动机 已报告关键设置
Bit supervision (K) 个二元分类替代 (2^K) 类索引 让标签距离更接近 latent 局部变化 直接复用 LFQ 的位表示；论文未单列 K 的敏感性
ResDiff 条件扩散预测 (z_{cont}-z_{quant}) 补回量化丢失的高频局部细节 条件含量化 token 与各层隐藏态；附录 C.1
Hybrid FM encoder–PLM–decoder 充当坐标去噪器 兼取离散预训练与连续坐标精度 Euler 积分、每步 Kabsch；采样步数约少 10×（第 7 页）
GeoDPLM pair bias、pair/structure transition；可选 triangle 注入残基间高阶关系 pair dim 128；structure dim 1280；PairFormer TU hidden 128、TA hidden 32；4/16 heads（附录 C.4，第 15 页）
REPA ESMFold folding trunk 教师，多层加权 以平滑高维结构语义替代尖锐离散标签 3 次 recycling；3-layer MLP；learnable softmax layer ensemble（附录 C.5）
Folding SFT 序列不 mask，只 mask 结构 专门优化 (p(xs)) 提升折叠但失去无条件共生成评估资格
Multimer PDB-Multimer + chain linker / position offset 扩展单链模型到链间关系 全集 11,614/291 train/val；实际 SFT 过滤至 3,462 条、长度 60–512（表 8、正文第 9 页）

1.5 实验设计与定量结果

1.5.1 数据集、任务与指标

数据/任务 规模或切分 能力 指标解释
CAMEO 2022 folding 论文沿用 DPLM-2 评测；样本数未在本文正文重报 时间外蛋白折叠 RMSD↓ 衡量坐标偏差；TM-score↑ 衡量全局拓扑
PDB date split folding 按日期隔离；本文未重报样本数 分布内外之间的近期结构泛化 RMSD↓、TM-score↑
Unconditional co-generation 每个蛋白长度生成 40 个样本（图 6） 序列—结构共同生成的模式覆盖 FoldSeek cluster 数 / 样本数，即 Diversity↑
CAMEO inverse folding 结构条件生成序列 序列恢复与自洽结构 AAR↑、self-consistency TM-score↑
HumanPPI / DeepLoc 按 SaProt 协议 结构感知表征 分类准确率 Acc↑
PDB-Multimer 11,614 train / 291 val；平均 2.88±1.66 链 多链建模 RMSD↓、TM-score↑

论文未报告主结果的多次运行标准差或置信区间；PDB-Multimer 的链数/长度给出数据分布标准差，但这不是模型性能不确定性。

1.5.2 主结果完整矩阵

下表逐项转录论文表 7（PDF 第 8 页）。五列指标、十个配置；粗体是各列可比较配置中的最优值。“—”是论文未评估，不补造。

方法 PDB RMSD↓ PDB TM↑ CAMEO RMSD↓ CAMEO TM↑ Diversity↑
DPLM-2 650M 5.307 0.8306 7.703 0.7936 0.700
Bit 3.221 0.9043 6.403 0.8380 0.825
Bit + FM 2.870 0.9099 6.183 0.8418 0.525
Bit + FM + ResDiff 2.788 0.9146 6.077 0.8456 0.525
Bit + FM + ResDiff + SFT 2.370 0.9270 5.847 0.8442 —
Geo + Bit（推荐） 2.551 0.9254 5.955 0.8520 0.900
Geo + Bit + FM 2.443 0.9261 6.172 0.8404 0.575
Geo + Bit + REPA 2.507 0.9264 6.192 0.8412 0.875
Geo + Bit + REPA + SFT 2.404 0.9322 5.754 0.8424 —
All* 2.379 0.9297 6.200 0.8398 —

相对 DPLM-2 650M：Bit 把 PDB RMSD 降低 2.086，即 39.31%，TM-score 提升 0.0737（+8.87% 相对）；推荐的 Geo+Bit 把 PDB RMSD 降低 51.93%，CAMEO RMSD 降低 22.70%，多样性提高 28.57%。专用 SFT 配置把 PDB RMSD 降到 2.370，相对基线降低 55.34%。

全文最有说服力的证据：只改变监督表示、参数规模仍为 650M，Bit 就将 PDB RMSD 5.307→3.221；进一步采用 Geo+Bit 得到 2.551 和 0.900 多样性。这说明瓶颈主要不是参数量，而是监督几何与结构归纳偏置。

表 4（PDF 第 5 页）还给出外部基线：ESMFold 3B 在 CAMEO/PDB 的 RMSD 为 3.9900/2.8400；ESM3 1.4B 为 6.3300/4.9003；MultiFlow 为 17.8400/15.6400。Bit+FM+ResDiff+SFT 的 PDB RMSD 2.3698，比 ESMFold 低 16.56%，但 CAMEO RMSD 5.8472 比 ESMFold 高 46.55%。因此“达到或超过专用折叠模型”只在特定切分/指标成立，不能广播为全面胜出。

1.5.3 逐层消融与相变

设计选择改变 PDB folding RMSD 与生成多样性的 Pareto 位置

位级监督带来最大精度跃迁；FM 继续降低 RMSD，却显著压缩无条件生成多样性。

PDB RMSD（越低越好）
DPLM-2.1 各配置在 PDB date split 上的 RMSD DPLM-2 为 5.307，Bit 为 3.221，Bit 加 FM 为 2.870，Bit 加 FM 和 ResDiff 为 2.788，Geo 加 Bit 为 2.551，SFT 配置为 2.370。 2.03.04.05.0RMSD BaseBitBit+FM+ResDiffGeo+Bit+SFT模型配置
数据：核心论文表 7（PDF 第 8 页）。图中只有一个 RMSD 纵轴；多样性精确值通过 hover/focus tooltip 与相邻数据表提供，未使用双 Y 轴。
配置（表 7） PDB RMSD↓ 相对上一层 CAMEO RMSD↓ Diversity↑ 解释
Base 5.307 — 7.703 0.700 索引监督
+ Bit 3.221 -39.31% 6.403 0.825 最大单步收益
+ FM 2.870 -10.90% 6.183 0.525 精度升，多样性骤降
+ ResDiff 2.788 -2.86% 6.077 0.525 全局指标边际收益小
+ SFT 2.370 -14.99% 5.847 未评估 任务专化，失去共生成可比性

几何消融（表 5，PDF 第 6 页）显示：无 SFT 时 Base 5.521/7.703；加 pair bias/transition 得 4.823/7.244；再加 structure transition 得 3.883/6.550。triangle update 反而退到 4.837/7.197，triangle attention 为 4.415/6.973。更复杂的 triangle 模块分别让训练慢 3.9× 与 6.8×（正文第 6 页），却不胜过廉价 transition。

相变高亮。 从 index 到 bit 是性能相变：PDB index accuracy 0.1188→0.2641、bit accuracy 0.7932→0.8648，同时 RMSD 5.3071→3.2213（表 3，第 3 页）。而从 Bit 到 Bit+FM 是目标权衡相变：PDB RMSD继续改善 10.90%，多样性却 0.825→0.525，下降 36.36%。这不是平滑“越多越好”，而是生成轨迹从随机离散去噪转向更确定的 ODE 后模式覆盖发生突变。

1.5.4 REPA、逆折叠与表征学习

表 6（第 7 页）中，REPA 将 DPLM-2 的 PDB RMSD 5.521→4.919（-10.90%），GeoDPLM 4.823→4.340（-10.01%）；说明教师表征对两类架构均有效。表 13（第 16 页）中，CAMEO 逆折叠 AAR 从 DPLM-2 650M 的 0.4962 升至 Bitwise 0.5586、Geo+Bit+REPA 0.5681，绝对提升 0.0719（相对 14.49%）。表 14（第 17 页）中，Bitwise 在 HumanPPI 达 88.89%，超过 SaProt 的 86.41% 与 DPLM-2 的 84.44%；但 DeepLoc 83.39% 仍低于 SaProt 85.57%。这是一项“有迁移但不普适”的证据。

1.5.5 多链数据

表 9（第 8 页）将 monomer tokenizer 训练数据从 200K 增加 1.2M 后，PDB-Multimer 重建 RMSD 9.973→6.873（-31.08%），TM-score 0.694→0.784；说明单链数据能迁移到多链局部几何。表 10（第 9 页）中 position offset 将 tokenizer 多链 RMSD 6.873→5.886（-14.36%），但折叠端 ESMFold 仍以 TM-score 0.850 领先 DPLM-2/链连接/offset 的 0.768/0.771/0.767。表 11 还显示只用 PDB-Multimer SFT 会让 CAMEO RMSD 恶化到 10.989；加回 SwissProt 才恢复到 6.410，表明多链与单链数据需要联合而非替代。

1.5.6 超参敏感性与统计显著性

论文没有给学习率、bit 维数 (K)、codebook 大小、FM 步数、REPA 权重或位置 offset 的系统 sweep 曲线，也没有多随机种子均值±标准差。能确认的工程点只有 pair/structure hidden dimensions、attention heads、3 次 ESMFold recycling、每 10k step 记录训练速度，以及 FM 约少 10× 采样步。

因此，本文可以把 5.307→3.221 视为同论文设定下的大效应量，但不能声称统计显著；也不能确认 bit 方案是否在某个 (K) 后平台化。唯一可称为“行为突变”的是表 7 的目标权衡，不是严格意义由连续超参扫描证明的相变。

1.6 价值分析

真正贡献是建立了“诊断—设计—组合验证”的范式。它告诉后续研究者：不要把结构 tokenizer 的 reconstruction 当代理终点；要同时检查 token predictability、坐标质量、全局拓扑、多样性和跨任务迁移。这个框架比单个模块更有寿命。

可独立复用的设计有三类。第一，任何 LFQ/VQ 多模态模型都可测试位级或分层标签，避免 codebook index 的假等距。第二，REPA 的思想可以跨领域迁移：让通用生成模型对齐专用科学模型的隐藏表征，而不是只蒸馏最终预测。第三，组合消融必须报告正交性；Geo、Bit、FM、REPA 都单独有效，不代表相加有效。

迁移潜力包括 RNA/小分子构象、晶体结构、蛋白—配体复合物。共同结构是“一部分模态天然离散、一部分模态连续且具对称性”。位监督适合离散端，等变/成对模块适合几何端，物理能量适合约束端。尤其值得借鉴的是低成本选择：Geo+Bit 避开 FM 与 REPA 的额外采样/教师预计算，仍同时保住折叠与多样性。

1.7 局限性

1.7.1 论文自述限制

论文附录 B“Discussions and Limitations”（PDF 第 14 页）明确承认四点：

  1. 离散表示仍有损。 Bit 只缓解量化，不捕获完整连续几何；模型主要处理残基/骨架，缺少全原子相互作用。
  2. 缺少物理约束。 框架没有显式能量先验，结构指标改善不等同于物理可实现性。
  3. 规模结论未验证。 分析最多到 3B，设计在更大模型上是否继续有效未知。
  4. 高质量多链数据稀缺。 PDB-Multimer 经过长度过滤后 SFT 仅 3,462 样本，蛋白家族外泛化受限。

1.7.2 补充批判

  1. [论证缺口] “超越专用折叠器”存在切分选择性。 因为表 4 中 SFT 模型在 PDB RMSD 2.3698 优于 ESMFold 2.8400（16.56%），但在 CAMEO 是 5.8472 对 3.9900，反而差 46.55%，所以“on par / outperform”不能不带数据集限定。

  2. [指标有效性] RMSD、TM-score 不证明生物功能或可合成性。 因为所有主结果都是结构相似度，论文没有 wet-lab 验证、能量松弛后稳定性、Rosetta energy、pLDDT/calibration 或功能 assay，所以 2.370 RMSD 不能推出生成蛋白具有目标功能。

  3. [统计显著性] 无多随机种子。 因为表 4–7、13–14 均没有性能标准差/置信区间，所以 REPA 在 GeoDPLM 上 CAMEO TM-score 0.8128→0.8217 这类 0.0089 的增益可能受训练波动影响；报告只能称观察到提升，不能称显著。

  4. [实验设计] 基线值在表间不完全一致。 因为 DPLM-2 的 PDB RMSD 在表 4/7 是 5.3071/5.307，而表 5/6 是 5.521，摘要写 5.52→2.36；所以不同训练或评测配置没有在汇总叙事中充分区分，导致相对提升可在 55.34% 与 57.07% 间变化。

  5. [模块交互] All* 不是最优，削弱“统一堆叠”叙事。 因为 All* PDB RMSD 2.379 差于 SFT 路径 2.370，CAMEO 6.200 更差于 5.754；所以模块间存在负交互，设计空间不是可加性模块库。作者诚实报告了这一点，但缺少解释交互的受控二阶实验。

  6. [失手子任务] FM 的精度收益以多样性为代价。 因为 Bit→Bit+FM 的 PDB RMSD 3.221→2.870，但 diversity 0.825→0.525（-36.36%）；所以若目标是发现多样骨架，FM 可能是错误选择。论文给出 ODE 性质解释，却未比较 stochastic sampler 来验证因果。

  7. [缺乏关键竞品公平对比] 模型大小与任务专化不对称。 因为 ESMFold 3B 是专用折叠器、ESM3 1.4B 是不同训练数据的多模态模型，而核心配置含 folding SFT；所以参数优势与任务监督、训练数据无法解耦。需要等训练 token、等结构数据、等 SFT 的 head-to-head。

  8. [可复现性风险] 仓库公开程度不完整。 官方仓库明确提供 DPLM-2 Bit 权重，但 README 仍写“full implementation will be released soon”；当前可核实权重为 2.62GB 的 650M Bit 模型，GeoDPLM、ResDiff、FM、REPA 全组合的完整复现入口未被同等清晰公开。因此表 7 的组合结论难以端到端复核。

2. 相关工作回溯：问题与技术来源链

2.1 DPLM — 2024.07，ICML 2024

解决什么。 DPLM 将吸收式离散扩散引入蛋白序列语言建模，把无条件生成、表征学习、motif scaffolding、逆折叠条件生成放进一个统一模型。它解决了自回归顺序对蛋白序列并不天然、条件组合不灵活的问题，并为当前工作提供序列端预训练底座。

遗留缺口。 DPLM 原生只处理氨基酸离散序列；结构只能作为外部条件，不能共同生成。序列合理也不保证三维骨架合理，因此统一蛋白模型仍缺结构通道。

核心论文如何回应。 DPLM-2.1 没有抛弃离散扩散，而是保留其扩展性，把结构同样离散化后联合训练；随后修补离散结构带来的监督与几何问题。

设计传递。 “任意 mask 比例的去噪语言建模”从 DPLM 传到 DPLM-2/2.1；核心工作改变的是结构目标粒度，不是扩散骨架。

2.2 DPLM-2 — 2024.10 预印本 / ICLR 2025

解决什么。 DPLM-2 用 LFQ tokenizer 把三维骨架压成结构 token，与序列 token 联合建模，从而支持 sequence–structure co-generation、folding、inverse folding 与 motif scaffolding。它是核心论文的直接基线与实验载体。

遗留缺口。 统一接口建立了，但 tokenizer 量化丢细节、索引预测准确率低、序列 Transformer 缺少几何偏置；表 3 的 CAMEO index accuracy 0.0864 是这一缺口的直接度量。

核心论文如何回应。 DPLM-2.1 把“是否离散化”改写成“怎样离散化、怎样监督、怎样补连续信息”，分别提出 Bit、ResDiff、FM、Geo、REPA。

设计传递。 LFQ 的逐位量化本来只是 tokenizer 内部实现，在核心论文中被提升为语言模型显式监督单位；这是最关键的“隐藏设计→学习目标”迁移。

2.3 ESM3 — 2024.07 预印本 / 2025.01 Science

解决什么。 ESM3 把序列、结构与功能编码为多轨离散 token，并把规模扩至 98B；其核心贡献是证明多模态蛋白语言模型可以被任意模态组合提示，并产生实验验证的远缘荧光蛋白。

遗留缺口。 大规模并不回答结构 tokenizer 是否适合语言模型。核心论文表 2 的受控比较显示，ESM3 tokenizer 重建 RMSD 0.7248 虽好，换入同一 DPLM-2 架构后生成 RMSD 8.4424，反而弱于 DPLM-2 tokenizer 的 7.7025。

核心论文如何回应。 它把 ESM3 作为反例说明 reconstruction proxy 不充分，转而优化可预测性与几何偏置；也因此不把“更大 codebook/更低重建误差”当唯一方向。

设计传递。 ESM3 的多轨离散统一思想被继承；核心论文增加位级相关性与连续修复，试图保住多轨语言接口又降低几何代价。

2.4 REPA — 2024.10 预印本 / ICLR 2025 Oral

解决什么。 REPA 在图像扩散 Transformer 中，将噪声状态隐藏表征对齐到预训练视觉编码器，达到 17.5× 训练加速并取得 FID 1.42。它把生成困难重新解释为“高质量表征学习困难”。

遗留缺口。 原始 REPA 针对图像、二维 patch 与 DINO 类教师；是否可跨到离散蛋白结构、以及该选哪个科学教师未知。

核心论文如何回应。 DPLM-2.1 以 ESMFold folding trunk 为教师，将 REPA 迁移到残基结构表征；表 6 证明它对纯 LM 与 GeoDPLM 都有效。

设计传递。 从“视觉自监督教师→图像生成器”进化为“专用折叠器→通用蛋白生成器”，并用可学习多层 ensemble 免去手选对齐层。

3. 技术演进脉络

2024 DPLM [离散扩散；仅序列；统一生成/表征]
      │
      ├──> 2024/2025 DPLM-2 [LFQ 结构 token；序列+结构联合分布]
      │          │
      │          ├── 缺口 A：量化残差丢失 ──> ResDiff / Hybrid FM
      │          ├── 缺口 B：index 标签无几何 ─> Bit supervision
      │          └── 缺口 C：Transformer 无三维偏置 ─> GeoDPLM
      │
2024 ESM3 [序列/结构/功能多轨；超大规模]
      └── 提醒：统一离散接口可扩展，但 tokenizer 重建≠生成能力

2024 REPA [外部表征平滑生成监督]
      └──> 2025 DPLM-2.1 [ESMFold 教师对齐]

2025 DPLM-2.1 汇聚点
      [Bit + Geo 为推荐主干；FM/ResDiff/SFT 按目标选择；Multimer 扩数据覆盖]

内在推动力不是单纯扩大模型，而是从接口统一转向度量一致：早期关心“序列和结构能否都变成 token”；随后发现 token 的可预测性、几何邻近关系与坐标精度并不一致；再把连续模型、等变偏置和专用教师重新引入。关键转折是承认“语言统一”不等于“物理统一”。社区关注点也从单一 folding accuracy 转向精度—多样性—效率三目标：表 7 和训练速度分析正是这种变化。

4. 跨论文对标

工作 发表年月 会议/出版 核心贡献 代表性证据 与核心工作的关系
DPLM 2024.07 ICML 2024 蛋白序列离散扩散 LM 统一生成、表征与条件控制 提供扩散语言骨架
DPLM-2 2024.10 / 2025 ICLR 2025 LFQ 结构 token + 序列结构联合建模 核心论文基线 PDB RMSD 5.307 直接问题来源
ESM3 2025.01 Science 序列/结构/功能多轨扩展到 98B 论文受控实验：tokenizer 重建 0.7248 RMSD，但生成 8.4424 证明低重建误差不足
REPA 2025.04 ICLR Oral 外部教师表征对齐生成模型 原论文报告 17.5× 训练加速、FID 1.42 技术来源，迁移到 ESMFold 教师
DPLM-2.1 2025.07 ICML Spotlight Bit+Geo+连续修复的设计空间 650M：PDB RMSD 5.307→2.370；Geo+Bit diversity 0.900 汇聚与诊断框架

5. 开放挑战与可操作研究机会

5.1 理论层面

  1. 标签度量一致性的下界。 固定相同 LFQ encoder、codebook 与参数量，对比 index CE、bit BCE、Gray code、层次 softmax、基于 latent 距离的 soft label；测定在相同训练 token 下，结构 RMSD 可由 token classification error 推出的最紧上界。
  2. 离散—连续联合表示的可识别性。 在同一数据上对比纯 token、token+residual、直接 SE(3) flow，控制计算与监督；检验 residual 是否只修局部键长，还是能改变全局 topology。
  3. 模块非正交性的因果解释。 做完整 (2^4) 因子实验（Bit/Geo/FM/REPA），至少 3 seeds，拟合二阶交互项；验证 REPA 与 Bit 是否确实因“平滑监督重复”而互相饱和。

5.2 工程与应用层

  1. 等预算公平折叠对比。 统一 PDB/SwissProt 数据、650M 参数、训练 FLOPs、folding SFT 与采样时间，对比 DPLM-2.1、ESMFold-small、ESM3-open、Proteina；同时报 CAMEO/PDB、推理秒数和峰值显存。
  2. 精度—多样性 Pareto。 在 Bit+FM 上加入 stochastic interpolant、温度或噪声注入，与纯 ODE head-to-head；固定 40 samples/length，画 RMSD 与 FoldSeek diversity 的单一 Pareto 图，确认 36.36% diversity 损失能否回收。
  3. 物理可行性补测。 对同一批生成结构做 clash rate、Ramachandran outlier、Rosetta/Amber relaxation、短程 MD 稳定性；与 RMSD/TM-score 做相关分析，检验结构指标是否代理真实物理质量。
  4. 复现缺口。 公开 Geo/ResDiff/FM/REPA 全配置后，以仓库默认命令复现表 7；记录 wall-clock、GPU-hours、预计算 ESMFold 表征成本，建立“每 1% RMSD 改善的计算代价”。

5.3 新兴方向

  1. 全原子与配体条件。 把主链 4 原子扩到 side-chain 与 ligand，比较 residue token+atom residual、全原子 flow 两路线；任务用 protein–ligand pose、interface RMSD、binding energy，而非只看单链 TM-score。
  2. 多链长尾泛化。 按链数、界面面积、同源家族分层，比较 monomer-only、multimer-only、curriculum mixed；特别复测论文中 multimer-only 导致 CAMEO RMSD 10.989 的负迁移来源。
  3. 实验闭环。 从生成集中按 Geo+Bit、Bit+FM 两策略各选等量候选，盲测表达率、热稳定性与功能；用实验成功率检验“0.900 diversity”是否比“2.370 RMSD”更能预测发现价值。
  4. 不确定性与拒答。 在 CAMEO/PDB 之外构造低同源、超长、无序蛋白集合；用 ensemble/conformal 方法给折叠误差区间，对比 TM-score 单点输出，建立何时不应信任生成结构的阈值。

6. 其他值得关注的近期工作

Protein Structure Tokenization: Benchmarking and New Recipe（2025.07，ICML 2025）
从局部子结构、效率与 codebook 利用率系统评测 tokenizer；AminoAseed 相对 ESM3 在 24 个监督任务平均提升 6.31%，非常适合作为 DPLM-2.1 下一轮 tokenizer head-to-head。 论文 | Code/权重

Retrieval Augmented Zero-Shot Enzyme Generation for Specified Substrate（2025.07，ICML 2025）
把底物相似性检索与条件离散扩散结合，定义零样本底物指定酶生成；值得看它如何把通用序列生成接到可评价的催化目标。 论文 | Code 未找到

Foundation Molecular Grammar（2025.07，ICML 2025）
用多模态基础模型诱导可解释分子图语法，连接图像、文本与分子图；其“先获得结构化符号再生成”的路线与蛋白结构 token 的度量问题形成呼应。 论文 | Code

Open Materials Generation with Stochastic Interpolants（2025.07，ICML 2025）
在统一随机插值框架中同时处理周期晶格、坐标与原子种类，是检验“连续/离散联合生成”如何跨到晶体的重要参照。 论文 | Code

All-atom Diffusion Transformers（2025.07，ICML 2025）
用共享 latent 同时生成周期材料和非周期分子，并扩到 5 亿参数；与 DPLM-2.1 的对照点是：它弱化领域特定归纳偏置，换取统一与速度。 论文 | Code

LLM-SRBench（2025.07，ICML 2025）
239 个跨四科学领域的符号回归问题揭示最好系统 symbolic accuracy 仅 31.5%；它提醒 AI4Science 评测必须防记忆并把“发现”与“复述公式”分开。 论文 | Code 入口见会议页

Bridging Protein Sequences and Microscopy Images with Unified Diffusion Models（2025.07，ICML 2025）
CELL-Diff 在蛋白序列与荧光显微图之间双向生成，把蛋白多模态从“序列—结构”扩到“序列—细胞定位表型”。 论文 | Code 未找到

7. 结论

DPLM-2.1 最重要的结论不是某个单一 SOTA 数字，而是一个对多模态科学模型普遍有效的工程原则：符号化接口必须保留底层连续空间的邻近关系，否则规模化语言建模会优化一个错误的度量。 650M 模型通过 Bit 将 PDB RMSD 从 5.307 降到 3.221，再用 Geo+Bit 在 2.551 RMSD 与 0.900 diversity 之间取得更平衡的点，证明设计可替代一部分参数规模。

但报告也必须保留边界：CAMEO 上它仍明显不及 ESMFold；主结果无多 seed；没有物理能量与实验验证；全组合并非最优；完整组件代码尚未同等公开。因此，最可靠的后续路线不是继续叠模块，而是做等预算、跨切分、带物理和实验终点的 Pareto 评测。

来源与核验说明

索引状态：本地 ml-report-index.md 已更新；持久化同步在交付阶段执行。