Pallatom

0. 链接验证表（2026-10-04 实际访问）

口径说明：Pallatom 的 PMLR 会议页标注 ICML 2025，OpenReview 记录为 Spotlight。会议举办于 2025-07-13 至 07-19，PMLR 卷页面发布日期为 2025-10-06；本报告采用“ICML 2025 Spotlight”。所有定量数字均来自实际读取的正式 PDF；网页摘要只用于链接与元数据核对。

1. 候选池与随机选择记录

运行日为周日，主题轮转到 AI4Science 与跨界。先检查 ml-report-index.md，排除最近 14 天已经深读的 MolJO、I²Mole、Circuit Insights、Among Us 等论文与相邻主题。候选主要来自实际访问的 ICML 2025 PMLR Volume 267；同时用 OpenReview、arXiv、Semantic Scholar、Hugging Face Daily Papers 与 Papers with Code 检索标题和公开资源。后几类聚合站对部分条目的资源页覆盖不完整，因此候选资格以正式会议页或 arXiv 为准。

候选共 30 篇：

1. From Mechanistic Interpretability to Mechanistic Biology: Training, Evaluating, and Interpreting Sparse Autoencoders on Protein Language Models
2. A Variational Perspective on Generative Protein Fitness Optimization
3. Predicting Mutational Effects on Protein Binding from Folding Energy
4. Boosting Protein Graph Representations through Static-Dynamic Fusion
5. Elucidating the Design Space of Multimodal Protein Language Models
6. NMA-tune: Generating Highly Designable and Dynamics Aware Protein Backbones
7. Aligning Protein Conformation Ensemble Generation with Physical Feedback
8. Diffusion on Language Model Encodings for Protein Sequence Generation
9. P(all-atom) Is Unlocking New Path For Protein Design
10. PPDiff: Diffusing in Hybrid Sequence-Structure Space for Protein-Protein Complex Design
11. Reward-Guided Iterative Refinement in Diffusion Models at Test-Time with Applications to Protein and DNA Design
12. Flexibility-conditioned Protein Structure Design with Flow Matching
13. Protriever: End-to-End Differentiable Protein Homology Search for Fitness Prediction
14. Sidechain Conditioning and Modeling for Full-Atom Protein Sequence Design with FAMPNN
15. All-atom Inverse Protein Folding through Discrete Flow Matching
16. CFP-Gen: Combinatorial Functional Protein Generation via Diffusion Language Models
17. Protein Structure Tokenization: Benchmarking and New Recipe
18. ReQFlow: Rectified Quaternion Flow for Efficient and High-Quality Protein Backbone Generation
19. Bridging Protein Sequences and Microscopy Images with Unified Diffusion Models
20. OneForecast: A Universal Framework for Global and Regional Weather Forecasting
21. Fixing the Double Penalty in Data-Driven Weather Forecasting Through a Modified Spherical Harmonic Loss Function
22. Fast and Low-Cost Genomic Foundation Models via Outlier Removal
23. SPACE: Your Genomic Profile Predictor is a Powerful DNA Foundation Model
24. ViTally Consistent: Scaling Biological Representation Learning for Cell Microscopy
25. scSSL-Bench: Benchmarking Self-Supervised Learning for Single-Cell Data
26. Enforcing Latent Euclidean Geometry in Single-Cell VAEs for Manifold Interpolation
27. Code-Generated Graph Representations Using Multiple LLM Agents for Material Properties Prediction
28. Efficient Molecular Conformer Generation with SO(3)-Averaged Flow Matching and Reflow
29. Symmetry-Driven Discovery of Dynamical Variables in Molecular Simulations
30. Offline Model-based Optimization for Real-World Molecular Discovery

按要求执行 shuf -i 1-30 -n 1，输出 9，所以核心论文为 Pallatom。它有正式长文、31 页 PDF、代码、主结果、逐层消融、超参扫描与长度外推数据，资料足够，没有重抽。

2. Motivation：真正的痛点不是“多画几颗原子”

主流蛋白生成器往往拆成两步：先生成骨架，再用 ProteinMPNN 一类逆折叠器补序列，最后用结构预测器检查自洽。这条流水线把联合分布 (p(\text{sequence},\text{all-atom coordinates})) 切成若干条件分布，工程上成熟，却有三个具体缺口。

第一，侧链不是可忽略的渲染层。活性位点、氢键网络、疏水核心与配体接触由侧链原子决定；只建模 Cα 或主链时，模型可以交出“看似可折叠”的骨架，却没有在生成阶段承担原子碰撞与侧链化学一致性的代价。第二，序列和结构存在强耦合。先骨架后序列会把早期几何错误推给下游修补；若某个骨架只对极窄序列集合可设计，骨架指标可能仍然漂亮。第三，已有全原子表示代价高或语义复杂：例如 Protpardelle 的 atom73 表示需要在多个候选侧链身份上叠加坐标，离散氨基酸身份与连续坐标在反向过程中相互缠绕。

论文的量化证据很直接。主实验对 60、70、80、90、100、110、120 aa 七个长度各采样 250 个，共 1,750 个候选。最强全原子/共设计基线 MultiFlow 的 CO-DESIGN DES-aa 为 62.74%，Pallatom 为 85.03%，绝对增加 22.29 pp，相对增加 35.53%；Foldseek 结构簇由 134 增到 291，增加 157 个、相对 117.16%；MMseq2 序列簇由 1,042 增到 1,466，增加 424 个、相对 40.69%（Table 1，PDF p.7）。这说明全原子联合建模并未自动牺牲多样性，反而能扩大可设计区域。

但动机也不能被夸大成“全原子必然优于骨架路线”。在 ProteinMPNN 后处理的 DES-bb 指标上，Pallatom 89.89%，低于 ProteinGenerator 的 93.14%，差 3.25 pp（Table 1，p.7）。所以论文支持的是：在作者定义的共设计协议里，全原子联合分布更好；它不支持“所有设计场景都统治两阶段方法”。

3. 故事线、核心假设与权衡

故事线可以压缩成四步。

1. 统一表示：把每个残基写成固定 (14\times3) 坐标块。真实存在的原子放入对应槽位，缺失侧链原子临时填在 Cα 上；生成开始时只知道主链元素类型，侧链槽位都是 UNK。
2. 先几何、后身份但在同一网络内闭环：坐标扩散网络输出去噪后的 Atom14 几何；SeqHead 从几何预测 20 类氨基酸并据此裁掉虚拟槽位。与外接 ProteinMPNN 不同，序列头和几何主干共同训练。
3. 全局—局部分轨：残基层 Transformer 捕获远程拓扑，原子层模块处理近邻几何；AtomDecoder 再把当前去噪坐标转成新的 pair 表征，回灌主干。
4. 用可微结构代理塑形：原子回归、序列交叉熵、smooth-LDDT、残基/原子 distogram 与中间层损失共同训练；采样用 200 步一阶 Euler。

核心假设是：固定 Atom14 槽位虽在化学上冗余，却能把变长侧链变成固定张量，使等变几何学习的收益大于 UNK 与虚拟 Cα 点引入的歧义。第二个假设是：回收（recycling）比一次性从噪声预测更重要，因为残基身份、侧链几何与局部邻域要反复协商。第三个假设是：代理设计性指标能大致筛出实验上有希望的蛋白。前两项得到消融支持，第三项没有湿实验验证。

权衡也很清楚：固定槽位换来简单并行化，却牺牲显式化学身份；大步长 η 提高去噪推进速度和长链成功率，却把样本推向 α-螺旋吸引域；200 步 Euler 带来约 10–58 秒的采样速度，却没有证明这是质量—成本 Pareto 前沿。

4. 方程级形式化与采样流程

输入：长度 N，T=200，η=2.25，γ=0.2，t∈[0.01,1]
初始化：Atom14 坐标 x_T ~ N(0, σ_T²I)；侧链身份全部 UNK
for i = T ... 1:
    1. 用残基级全局轨 + 原子级局部轨编码 x_i
    2. MainTrunk 第一次去噪，得到坐标与 pair 表征
    3. AtomDecoder 从去噪坐标重建 distogram，回灌 MainTrunk
    4. MainTrunk 第二次去噪，SeqHead 同时预测残基身份
    5. 由 EDM score 计算 Euler 更新；用 η 与 γ 调节步长/噪声
end
按预测残基类型裁掉虚拟侧链槽位，输出序列与全原子坐标

5. 关键机制与工程细节

训练配置来自 Table 6（PDF p.20）：batch 32，学习率 0.001、无 warmup，每 epoch 35,156 样本，crop 128；α0–α4 分别为 0.25、1、0.5、0.5、1，极性残基权重 2、其他为 1；单表示 256、pair 表示 128、8 heads、8 decoder units；共 300,000 步，在 4 张 A6000 上约 10 天，约 960 A6000 GPU-hour。论文没有报告精确参数量、峰值显存和训练能耗，因此不能把“采样快”外推为“全生命周期成本低”。

6. 数据集、基准与指标

训练 PDB 部分过滤分辨率小于 3Å、95% 序列同一性，并移除 loop 占比超过 50% 的结构，剩 7,459。AFDB-cluster 从标称 2.14 亿规模库出发，先按平均 pLDDT≥80、长度≤128 得 582,652，再用邻域密度≥20、核心残基比例≥30%、片段数≥4、回转半径<25、最大 loop≤15 及 Foldseek TM 0.8/coverage 0.9 等条件过滤约 30% 近重复，最终取 27,697。每 epoch 合计 35,156（§4.1、Appendix B，pp.6,19–20）。这里“2.14 亿”是上游数据库规模，不是 Pallatom 真正训练样本数。

7. 主结果矩阵

8. 逐层消融、超参敏感性与相变

9. 真正贡献、可复用设计与迁移潜力

真正贡献一：固定槽位不是终点，而是让连续坐标扩散承载离散化学的桥。 Pallatom 没有直接扩散氨基酸 token，而是让几何先形成、SeqHead 再选择哪些槽位真实存在。这一做法简单，却把最难的可变维度问题改写为掩码问题。

真正贡献二：全原子回收是可复用的闭环模块。 Table 3 的 −66 pp 说明，把当前生成坐标转成 pair/distogram 再反馈，比单次端到端预测重要。这个模式可迁移到配体—蛋白复合物、RNA 三级结构和材料晶胞：生成状态经可微几何摘要后，重新条件化下一步去噪。

真正贡献三：论文诚实暴露了采样相变。 Table 2 与 Table 7 让读者看到 η 既是数值积分参数，也是形态先验旋钮。这比只报告最佳超参更有科学价值。

迁移时应保留“局部原子轨 + 全局实体轨 + 回收”，但不必照搬 Atom14。复合物可用残基/链/原子三层图；小分子可用元素与键显式状态；长蛋白更适合 La-Proteina 式部分潜变量，把高频侧链细节压缩后再由解码器恢复。若任务强调功能，应把活性位点几何、能量或实验标签加入条件，而不是只优化自洽折叠。

10. 相关工作：问题来源与技术传递链

RoseTTAFold / AlphaFold 风格 pair + recycling
              │
              ├── RFdiffusion：骨架扩散 ──→ ProteinMPNN 补序列
              │                         │
              │                         └── MultiFlow：离散序列 + 连续骨架联合流
              │
显式原子路线 ─┼── Protpardelle：atom73 超集表示
              │            └── Pallatom：Atom14 + SeqHead + 原子回收
              │                         ├── APM：扩到多链复合物
              │                         └── FAMPNN：固定骨架上的侧链条件化
              │
潜变量路线 ──└── La-Proteina：Cα 显式 + 8D/残基潜变量，面向 800 aa

11. 论文自述限制

1. 任务范围：讨论部分明确把更一般的架构与复杂体系列为未来工作（Discussion，PDF p.9）；当前实验以单体、无条件设计为主，不能外推到复合物、膜蛋白或含配体体系。
2. 尺度限制：训练 crop 为 128（Table 6，p.20），虽然附录测试到 400 aa，但 Table 8 显示 350 后落后 CarbonNovo。这是论文数据本身承认的外推边界。
3. 验证限制：正文只做计算设计性、结构多样性与新颖性评估，没有表达、稳定性、结合或功能湿实验。论文因此只能声称 in-silico designability。

12. 独立批判（证据 → 推论）

1. [评测有效性] 因为 DES-aa 用 ESMFold pLDDT 与 aaRMSD 定义，而训练数据又大量来自 AFDB 高 pLDDT 结构，所以生成器和评测器共享结构预测生态的偏好；因此 85.03% 更可靠地表示“被当前预测器判为自洽”，不能直接等价为实验可折叠率。
2. [长程泛化] 因为训练 crop 128，而 DES-aa 从 L=200 的 93.3% 降到 L=400 的 17.9%，并在 L=400 落后 CarbonNovo 20.9 pp；因此 残基层全局轨尚未学到真正长度稳健的拓扑先验。
3. [模式坍缩] 因为 η=3.0、L=400 时 HHH 达 92%、EEE 为 0，而较小 η 只有 4% DES-aa；因此 提高步长得到的部分成功率很可能来自螺旋化捷径，不能当成无代价的采样加速。
4. [归因不足] 因为无 recycling 将 DES-aa 降 66 pp，但论文没有等计算预算的“更多层数/更多参数、无回收”对照；因此 可以认定回收实现有效，不能严格认定增益来自迭代语义而非额外前向计算。
5. [资源与复现] 因为代码仓库提供训练数据管线与采样命令，却未找到作者训练权重和整理后的 35,156 样本快照；因此 第三方可以重建流程，但难以逐位复现 Table 1，也无法排除数据库版本差异。
6. [统计] 因为主表、消融和超参没有随机种子方差/置信区间，只有推理时间报告标准差；因此 22.29 pp 的主差距可信度较高，而 2–3 pp 的 smooth-LDDT 或 γ 差异不应被当作稳定结论。
7. [成本口径] 因为训练消耗约 960 A6000 GPU-hour，但论文未报告参数量、峰值显存、碳排与从数据库预处理开始的总成本；因此 10.2 秒采样不能证明整套方法更“高效”。
8. [生物功能] 因为所有核心结果都在无条件单体与结构代理上，且没有活性位点、结合能或实验功能读出；因此 “protein design”在本文更准确是“可折叠结构—序列共设计”，而不是面向功能的蛋白工程闭环。

13. 开放挑战：可执行的 head-to-head 实验空白

14. 近期工作雷达

1. La-Proteina: Atomistic Protein Generation via Partially Latent Flow Matching（2025-07-13）：用 Cα 显式坐标加 8D/残基潜变量报告可扩到 800 aa，是对 Pallatom 长链崩落最直接的后续路线；但大规模 4600 万对训练数据使公平对比困难。
2. An All-Atom Generative Model for Designing Protein Complexes（arXiv v1, 2025-04-17；ICML 2025）：APM 把全原子生成扩到多链复合物，并公开 代码；它补上 Pallatom 单体局限，但需要严格的新靶点拆分排除复合物泄漏。
3. PPDiff（ICML 2025）：用序列—结构交错网络和因果注意力联合设计 binder，报告预训练/mini-binder/抗体任务成功率 50.00%、23.16%、16.89%；方向更功能化，但没有等口径全原子单体对标。
4. NMA-tune（ICML 2025）：把最低 normal mode 条件作为 RFdiffusion 插件并用 MD 检查目标动力学；说明“可折叠”之后的下一步是“会按目标方式运动”。
5. FAMPNN（ICML 2025）：在固定骨架逆折叠中联合残基身份与侧链构象，证明全原子信息也能提升零样本稳定性/结合预测；它与 Pallatom互补，一个强调条件化设计，一个强调从噪声生成。
6. Consistent Synthetic Sequences Unlock Structural Diversity in Fully Atomistic De Novo Protein Design（2025-12-01）：通过 ProteinMPNN 与结构预测器构造更一致的合成序列—结构对，报告 La-Proteina 结构多样性 +54%、共设计性 +27%；它提示数据配对质量可能比模型表示更关键。
7. Exploring the Alignment of Generation and Understanding in Protein Structure Modeling（2026-07-15）：把生成器对齐到理解编码器，报告 Protpardelle-1c 的 MotifBench 从 39.2 到 47.1（相对 +20%）；这是把结构生成从几何自洽推向功能表征的一条新轴。

15. 结论

Pallatom 值得读，不是因为它最终解决了全原子蛋白设计，而是因为它用极简的 Atom14 固定槽位与强回收机制证明：显式坐标可以在不维护复杂离散扩散状态的情况下承载序列—侧链耦合。主表的 +22.29 pp DES-aa 与 2.17× 结构簇 是扎实进展；Table 3 的 −66 pp 无回收崩落 揭示真正机制；Table 7/8 的长链与螺旋相变则清楚划出边界。

最合理的研究判断是：把 Pallatom 视为“显式全原子联合生成”的强基线和模块库，而非湿实验已验证的平台。下一步最值得做的不是继续抬高 ESMFold 通过率，而是在等数据、等算力条件下比较显式与潜变量表示，并用盲测湿实验校准计算代理。

来源与完整性脚注：核心数字以 PMLR 正式 PDF（31 页）为唯一数值依据；所有“论文未报告”均保留为空，没有补造标准差、权重链接、数据下载或湿实验结果。ml-report-index.md 已追加本报告记录。HTML 的图表使用 Table 8 的同口径 DES-aa；若本机不存在 /usr/bin/chromium 或 /opt/pw-browsers，将在构建日志中明确标记无法执行 Playwright 视觉回归，而不宣称已完成浏览器检查。