🧬 Evo 2：统一的生物基础模型如何重新定义基因组设计

一、研究领域背景

问题陈述与重要性

生物信息学面临的核心挑战是：如何从 DNA 序列理解功能，并反向设计出具有期望功能的新序列？传统方法要么是基于规则和领域知识的符号系统（如位置权重矩阵），要么是针对特定任务的监督学习模型，这些都存在严重的泛化能力不足问题。当我们遇到：

• 跨物种预测：一个在人类数据上训练的模型，如何可靠地预测细菌中相同功能元素的行为？
• 长程依赖：DNA 的 3D 结构、转录因子结合的竞争机制、以及远距离的调控互作，无法被短序列窗口捕捉
• 生成新序列：不仅要预测突变的效果，还要能创造出之前从未存在、却满足约束条件的功能序列
• 零监督应用：在完全没有标注的新任务上实现 zero-shot 或 few-shot 推理

这就是为什么基础模型方法在生物学中变得如此关键：通过在 海量异质的生物序列数据上进行自监督预训练，模型可以学到生物系统的深层统计规律。

领域内的常规 setting 与评测体系

当前 AI4Science（特别是计算生物学）的标准做法是：

• 主要数据源：NCBI GenBank、IMG/VR（病毒基因组）、ENCODE（人类调控区）、GTEx（组织特异性表达）
• 任务框架：
  • 序列分类：识别启动子、增强子、转录因子结合位点
  • 变异效应预测：区分致病SNP与常见SNP、预测QTL
  • 序列生成与设计：从头生成基因组序列、设计特定功能的人工DNA
  • 表达预测：从序列推断基因在不同组织中的表达水平
• 基准数据集：ClinVar（临床变异数据库，带pathogenicity标签）、BRCA1/BRCA2 饱和突变数据（通过体外实验获得的完整变异效应图谱）、Deep Mutational Scanning（DMS）数据库
• 评测指标：AUROC/AUPRC（变异预测）、准确率（分类任务）、Pfam hit率（生成质量）、一致性指标（序列的生物学合理性）

前沿研究的几个主要分歧与方向

学术界存在几条不同的技术路线：

• 架构选择的争论：Transformer 注意力 vs. 卷积-混合方案（如 Mamba、StripedHyena）。后者声称在长序列上更高效（Evo 2 采用了后者），但注意力的可解释性更强。
• 训练数据的范围：是聚焦于人类基因组的高质量数据（NT-v2），还是尽可能纳入所有生命域的序列（Evo 2 的选择）？前者可能在人类任务上效果最好，后者体现"更大、更多样"的扩展定律精神，但也引入噪声。
• 模态的统一性：DNA/RNA/蛋白能否在一个模型中学到共享表示（Evo 2 试图做到），还是分别建立专业模型（ESM 用于蛋白）？统一的好处是跨模态转移学习，坏处是任何一个模态都可能被平均化。
• 生物学约束的编码方式：是让模型从数据中自发涌现出动力学约束（SAE 可解释性方向），还是显式地注入物理/生物规则？Evo 2 走的是自发涌现路线。

二、核心论文精读

论文摘要与核心问题

Evo 2 是由 Arc Institute 团队在 2026 年发表在 Nature 上的一项重要工作，致力于构建一个跨越所有生命域的通用生物基础模型。

核心问题：能否用单一模型统一地表示和生成来自细菌、古菌、真核生物和病毒的 DNA 序列，同时在多个任务（变异效应预测、基因注释、序列生成）上都达到 SOTA 或接近的性能？

用自己的话概括：Evo 2 展示了一个规模为 40 亿参数的混合卷积-注意力架构模型，在 9 万亿个 DNA 碱基对的数据上进行两阶段预训练，能够：

• 在零监督设置下精确预测遗传变异的功能影响（包括 SNP、插入、缺失）
• 生成长度达数百 kb 的生物学上合理的基因组序列
• 通过推理时引导，精确设计具有指定功能特性（如开放染色质区域）的 DNA 序列
• 通过可解释性方法（稀疏自编码器）揭示模型内部学到的生物特征（转录因子结合位点、外显子-内含子边界等）

研究动机与观察到的痛点

为什么需要 Evo 2？前作 Evo 1（2024 年 Science）已经很成功了，但仍存在关键限制：

• 生物多样性受限：Evo 1 主要在原核生物上训练。虽然强大，但在真核生物（特别是哺乳动物）的任务上泛化能力不足。真核基因组结构（内含子、增强子、异染色质）与原核生物差异巨大。
• 上下文长度的瓶颈：长程依赖对于理解基因调控至关重要——一个增强子可能离启动子数万个碱基。Evo 1 的上下文长度有限。
• 跨越所有生活形式的表示统一性未知：一个在"所有生命"上训练的模型，能否学到真正通用的、超越物种特异性的生物逻辑？
• 变异预测的边界情况覆盖不足：现有模型在非 SNV 变异（插入、缺失、复杂重组）上表现显著下降，但这些恰好是临床诊断中的关键。

技术方法论详解

数据与预训练阶段

OpenGenome2 数据集：收集了 8.8 万亿个核苷酸，来自：

• 细菌与古菌（通过 GTDB 数据库）
• 真核生物（植物、真菌、动物，从 NCBI）
• 病毒（IMG/VR，但排除了已知人类病原体如流感、HIV，出于生物安全考虑）

去冗余处理至关重要：直接使用 GenBank 会导致非常有偏的数据分布（某些菌株被测序数百次）。他们采用了基于同源性的聚类策略，确保每个序列"新颖"到某个相似度阈值。

两阶段预训练管道：

1. 短上下文预训练（8192 令牌）：关注基因富集区域，让模型快速学到局部模式（编码区、基因启动子）。较短的上下文意味着更快的收敛和更高的样本效率。
2. 多阶段中训练（逐步扩展至 100 万令牌）：暴露更长的序列上下文，学习长程调控逻辑。这是计算上昂贵的，但对于真正学到染色体尺度的特性必不可少。

模型架构：StripedHyena 2

核心架构采用了 StripedHyena 2，这是一个"卷积多混合"模型，结合了三种操作：

• 输入相关卷积：与其标准卷积总是用固定滤波器不同，这里卷积核根据输入适应性地改变。这使得模型能学到输入相关的局部特征。
• 选择性机制：借鉴 Mamba 等状态空间模型的思想，在必要时"选择"性地关注某些位置，类似于注意力但更高效。
• 混合层设计：在深层网络中，交替使用卷积和注意力，平衡效率和表达能力。

为什么不用纯 Transformer？Evo 2 论文指出，在 100 万令牌长度下，Transformer 的二次复杂度会导致内存和计算爆炸。StripedHyena 2 声称达到 3 倍加速，同时在相同数据上的困惑度和下游任务表现 相当或更优。

损失函数与训练目标

标准的因果语言建模目标（next-token prediction）：

这个经典的自回归目标在预训练中已被充分验证。Evo 2 的创新不在损失本身，而在于数据的精心选择和多阶段调度。他们还采用了动态批处理，根据序列长度调整批大小，确保 GPU 利用率。

下游任务的推理时配置

关键的技术选择是 如何将预训练的语言模型适配到分类和生成任务：

• 变异效应预测：给定参考序列和一个变异位置，模型生成两个输入的嵌入向量，取差异向量作为特征，输入轻量级的监督分类器。这避免了微调整个 40B 模型的成本。
• 序列生成：直接使用自回归采样，或加上约束条件（如指定的功能特性）。推理时引导（guidance）通过联合概率来实现：
  P(x|c) ∝ P(x) · P(c|x)^α
  其中 c 是约束（如染色质可及性），α 是温度参数。

实验设计与结果

基准 1：变异效应预测（Variant Effect）

关键发现：在非 SNV 变异上，Evo 2 是唯一可靠工作的无监督模型。这对于临床诊断至关重要，因为许多致病变异是插入/缺失而非点突变。

基准 2：基因注释（Gene Annotation）

测试模型能否仅从 DNA 序列识别外显子边界（无需蛋白质信息）。在 8 个隐藏物种上的一致性评估：

• 基于 Evo 2 嵌入的分类器：AUROC 0.91-0.99
• 超过了传统工具 AUGUSTUS 和现有的 SegmentNT
• 特别是在物种外泛化上表现卓越，说明模型学到了物种无关的基因结构特性

基准 3：序列生成

原核生物生成（M. genitalium，580 kb）：

• 生成序列中，70% 的基因在 Pfam 数据库中有显著同源性匹配（意味着编码真实蛋白域）
• 对比 Evo 1 的 18%，这是3.9 倍提升
• 说明 Evo 2 更能生成"有机构"的基因代码，而非随机序列

真核生物生成（酵母，S. cerevisiae，330 kb）：

• 生成的蛋白长度分布与天然蛋白高度相似
• 成功生成含有多个内含子和外显子的复杂真核基因结构

基准 4：染色质可及性设计（Chromatin Accessibility Design）

最具创新性的应用：指定 DNA 序列中哪些区域应该被组蛋白结合、哪些应该是开放的，让 Evo 2 设计满足这些约束的序列。

• 在 HEK293T（人类肾细胞）和 K562（白血病细胞）中通过 ATAC-seq 验证生成序列的开放染色质模式
• 实验验证成功率高于随机对照，说明模型学到了非平凡的细胞型特异性调控逻辑
• 这是从推理时指导直接到体外验证的罕见例子，强有力地说明模型学到的表示是生物学上有意义的

关键创新与洞察

• 架构创新：证明了混合卷积-注意力架构可以在百万令牌规模保持高效性，同时不失表达能力。
• 数据策略：泛生命域的 9 万亿碱基数据集，加上谨慎的去冗余和多阶段调度，是成功的关键。
• 解释性突破：用稀疏自编码器从 40B 模型中解离出离散的生物特征（转录因子、外显子-内含子界面等），首次在如此大的基因组模型上实现机制级解释性。
• 多模态跨越：模型统一处理 DNA、RNA、和蛋白的模式（虽然论文重点是 DNA），开创了"生物序列通用表示"的方向。

故事线总结：从"特定任务的小模型"（前 AI4Science 时代）→ "单一物种的大基础模型"（Evo 1）→ "跨越所有生命的统一模型"（Evo 2），体现了规模定律在生物学中的威力，以及如何通过精心的数据与架构选择来克服生物多样性带来的挑战。

三、相关工作梳理与技术演进脉络

技术进程总览

基因组基础模型的发展经历了三个清晰的阶段：

第一阶段：早期专业模型（2018-2021）

代表作：DNA-BERT, DNABERT-2（BERT 变体应用到 DNA）

• 思路：将 NLP 领域的掩蔽语言模型（BERT）直接移植到 DNA 序列。模型很小（~100M 参数），仅在人类基因组子集或单一物种上训练。
• 优势：不需要任何标注，可以在中等规模 GPU 上快速训练。
• 局限：
  • 上下文长度短（512-1024 令牌），无法捕捉远距离调控）
  • 泛化到新物种、新任务时性能显著下降
  • 没有生成能力，仅能做分类或嵌入

第二阶段：规模扩展与多物种（2022-2024）

代表作：Nucleotide Transformer（Nature Methods 2024）、Evo 1（Science 2024）

Nucleotide Transformer：

• 创新：在 850 个物种的基因组上训练，数据规模达数百亿碱基对。关键洞察是多物种预训练能提升泛化性。
• 结果：在人类基因组任务上达到 SOTA；对比 DNA-BERT，在跨物种上泛化能力显著更好。
• 局限：仍以人类为中心（训练集偏向人类和常见模式生物），真核调控特性的学习仍不充分。

Evo 1（科学序列建模的突破）：

• 范式转变：首次展示原核生物专属模型可以达到前所未有的规模（7B-40B 参数）和性能。在 ClinVar 等原核相关基准上远超 SOTA。
• 技术选择：采用原始 Transformer，上下文长度 ~4k-16k。对于原核特性已经充分。
• 悬而未决的问题：
  • 能否扩展到真核生物？
  • 百万级别的上下文真的需要吗？
  • Transformer 架构在如此长的序列上是否已是最优？

第三阶段：统一、高效、可解释（2025-2026）

Evo 2 及其同代工作：

• Evo 2：跨越所有生命域，采用混合架构（StripedHyena 2），1M 令牌上下文。
• 并行发展：
  • HyenaDNA（2024）：先驱证明了卷积架构在长序列上的优越性
  • Caduceus-Ph（2025）：双向状态空间模型，在某些任务上竞争力强
  • 稀疏自编码器应用于生物学（2025-2026）：突破点是可解释性——用 SAE 从大模型中分解生物特征

关键问题的演进与解决

问题 1：多物种学习会冲淡特异性吗？

• Nucleotide Transformer 的答案："不会；多样性增加了学习信号。"
• Evo 1 的进一步确认："在更多数据、更大模型下，多物种甚至多模态的效果更好。"
• Evo 2 的定论："即使包括病毒和古菌，只要去冗余得当，泛生命学习仍能保持或改进性能。这是规模定律的胜利。"

问题 2：长上下文是否必需？成本值得吗？

• 前 Evo 时代：4-16k 令牌被认为已足够。
• Evo 2 的证据：在 100 万令牌上下文下，模型学到了远距离调控逻辑、基因组结构特性、甚至淵源关系。但性能收益需要高效架构（StripedHyena 2）来摊销成本。
• 实践启示：长上下文的价值不仅在于性能（提升有限），而在于学到更丰富的表示和更好的生成质量。

问题 3：架构设计的天花板在哪里？

• Transformer 的批评：计算复杂度 O(n²)，在 100 万令牌下成为绝对瓶颈。
• 卷积 & 状态空间的复兴：Mamba、StripedHyena 等证明了 O(n) 或 O(n log n) 的架构可以在困惑度上与 Transformer 相当或更优，同时快得多。
• Evo 2 的立场：混合设计（卷积 + 轻量级注意力）似乎是甜蜜点，平衡了效率与表达能力。

剩余的未决问题与下一步方向

最有价值的下一步研究方向（按"预期收益 ÷ 实现难度"排序）：

1. 跨模态融合的可解释性（高收益，中难度）：用 SAE 精确描述 DNA/RNA/蛋白在模型中如何相互影响。这能指导多模态预训练的最优设计。
2. 推理时引导的系统优化（中高收益，中难度）：目前 Evo 2 的引导是原型性的。深入研究约束条件的编码与采样策略，能显著提升设计应用的实用性。
3. 零样本微生物功能预测（中收益，低难度）：在环境微生物样本中直接应用 Evo 2，无需标注。一旦数据获得，这项工作可快速启动。

四、固定审视清单与独立分析

这一节是本报告最核心的贡献部分。以下逐条分析 Evo 2 的价值与陷阱。