Circuit Insights：从“看激活”走向“看权重与电路”

4.1 转码器与两类归因

设第 l 层目标转码器特征为 (l,i)，encoder 向量为 f_enc^(l,i)；更早第 l' 层特征 (l',i') 的 decoder 向量为 f_dec^(l',i')，其在 token t 上的激活为 a_(l',i')[t]。最基本的跨特征归因为：

[ A_{(l',i')\rightarrow(l,i)}(t)=a_{(l',i')}(t),\langle f_{dec}^{(l',i')},f_{enc}^{(l,i)}\rangle. ]

前项随输入变化，后项只由权重决定。论文进一步加入局部 Jacobian：

[ A^{J}{(l',i')\rightarrow(l,i)}(t)=a{(l',i')}(t),f_{dec}^{(l',i')}J^{(l\rightarrow l')}(t)f_{enc}^{(l,i)}, ]

其中 J 在给定输入处把注意力、归一化与非线性局部冻结（Eq.2–3, PDF p.3）。这使 CircuitLens 能追踪“某一次运行”里的实际路径，但也意味着它只是局部线性归因，不是全局因果等价。

注意力头 (l',h) 从源 token s 到目标 token t 对特征的贡献写成：

[ A_{h,s\rightarrow i,t}=\operatorname{score}{l',h}(r{pre}[t],r_{pre}[s])\cdot\langle (W_{OV}^{l',h})^Tf_{enc}^{l,i},r_{pre}^{l'}[s]\rangle. ]

输出侧则计算目标特征到预测 token y_t 的 logit 贡献：

[ A_{i\rightarrow y_t}=a_{l,i}[t], f_{dec}^{l,i}J^{y\rightarrow(l,i)}[t]W_U[:,y_t]. ]

前三式分别回答“固定连接是什么”“本次输入经何路径激活”“它把输出推向哪里”。

4.2 WeightLens 流程伪代码

for layer l from early to late:
  for feature i in transcoder(l):
    input_tokens  = zscore_outliers(W_emb · f_enc[l,i], τ_vocab)
    output_tokens = zscore_outliers(f_dec[l,i] · W_U, τ_vocab)
    upstream = union over l'<l of
               zscore_outliers(W_dec[l'] · f_enc[l,i], τ_feature)
    input_tokens += inherit_validated_tokens(upstream)
    validated = {token | forward(token) activates feature(l,i)}
    if validated is empty: mark context-dependent
    else: lemmatize(validated) [+ optional output_tokens / LLM refinement]

词表异常阈值：GPT-2 为 z=4，Gemma-2-2B 与 Llama-3.2-1B 为 z=4.5；跨特征连接阈值 z=3（PDF pp.4–5）。核心假设是：若固定连接真的描述特征的内在 token 语义，则孤立 token 前向验证仍应激活它。

4.3 CircuitLens 流程伪代码

cache max activations over corpus
partition activation distribution into B=20 quantile bins
sample N=100 without replacement with weight w_i = 1 / n_bin^0.9
for each sampled context:
  trace significant upstream features and (head, token, relative-position)
  mask non-contributing input tokens
  optionally trace affected generated tokens
  form sparse contributor set S_j
filter contributors appearing in at least ρ fraction of inputs
compute Jaccard(S_a,S_b)
cluster; explain each cluster with an LLM; merge cluster descriptions

正文写 DBSCAN（PDF p.6），Appendix E.5 写 HDBSCAN、eps=0.7、min_samples=3（PDF p.21）；这一命名不一致是复现时必须先澄清的地方。

7.1 五层 × 六方法：Clarity

下表从论文 Table 3 选择早层、转折层与晚层 5 个层位，满足同一基准上的六方法横向比较；粗体为该行最优。top 使用 2.3B-token 大集，其余 CircuitLens 使用 24M-token 小集；MaxAct* 也使用大集。

来源： Circuit Insights PDF p.25, Table 3。层 12 所有方法都低，印证该层的强上下文依赖；大语料 top 版本占优，说明电路方法并未消除覆盖率问题。

7.2 十层等权平均：绝对与相对变化

来源与计算： Table 2/3，PDF pp.24–25；本报告对 10 层算术平均。两张表中的 MaxAct* 值不同，因为 Table 2 只在可被 WeightLens 验证的 token-based 特征子集上比较，而 Table 3 是 CircuitLens 设置，不能跨表直接当作同一总体。

最重要的定量结论不是单一 SOTA：

1. WeightLens Clarity 从 0.499 到 0.634，绝对 +0.135、相对 +27.05%；但 Purity 从 0.670 降到 0.536，绝对 −0.134、相对 −20.00%。更清楚不等于更完整。
2. 24M-token 的 WL+CL-Full Clarity 0.506，仍高于用 2.3B-token 的 MaxAct* 0.429，绝对 +0.077；语料 token 数少 98.96%。但其 Responsiveness/Purity 分别低 0.119/0.131，不能把“少数据胜过大数据”泛化到所有维度。
3. 同样用 2.3B-token 时，CL-Full(top) 的 Clarity/Responsiveness/Purity 分别比 MaxAct* 高 0.189/0.071/0.020，对应相对 44.06%/10.17%/3.23%；Faithfulness 则低 0.003。
4. 所有方法的 Faithfulness 都非常低，主要落在 0.02–0.06；最佳清晰度并未转化为强输出控制。

8.1 WeightLens 逐项消融

Table 2 给出三种组合。单独 WL 的十层平均 Clarity 0.634；加入 output tokens 后，层 0 从 0.67 降到 0.63、层 12 从 0.47 降到 0.38，几乎各层下降；再用 LLM 汇总仅部分恢复。说明未经验证的 unembedding outliers 更像噪声而非免费功能语义。Responsiveness 对 +Out 略有提升，但 Purity 与 Faithfulness没有系统改善。真正有效的部件是“固定连接 + 单 token 前向验证”，不是“把更多词塞进说明”。

8.2 CircuitLens 逐项消融

小数据下，CL-Input 与 CL-Full 的十层平均 Clarity 分别 0.429/0.429，添加输出追踪几乎零平均收益；再融合 WeightLens 才到 0.506。这与 Table 1 的成本形成鲜明对比：15-token 输出侧要额外 12 GPU-hour，却没有在平均 Clarity 上带来收益。大数据 top 设置中，CL-Full 比 CL-Input 的 Clarity 0.618 vs 0.609（本报告计算），有小幅收益；因此输出追踪更适合作为定性功能定位，而非默认全量步骤。

8.3 层深“相变”

WeightLens 可验证比例在 Gemma/Llama 中从早层下降到中层，再在晚层部分恢复；Gemma layer 12 虽 l0=6、非常稀疏，却最难用固定 token 描述，而早层 l0=70–88 反而有大量 token-level 结构（PDF pp.7–8）。这说明稀疏度不是可解释性的充分条件。CircuitLens 聚类数也呈层级变化：layer 0 平均 1.05 簇、layer 7 4.5、layer 12 2.8、layer 21 2.95（Figure 10, PDF p.10）。layer 7 像是从词元检测转向复合电路的分界点。

8.4 超参敏感性

论文只给默认值：B=20, α=0.9, N=100, eps=0.7, min_samples=3，并做定性而非系统扫描。Appendix E.5 承认该聚类会把单义特征细分成白色衣物、绿色/黑色箱包等子簇，有时单簇反而更清楚。论文未报告 ρ、z 阈值、eps/min_samples 的完整网格、稳定区间或性能曲线，因此不能证明这些默认值跨模型稳健，也不能确定 4.5 簇是“真实多义性”还是过分裂。

8.5 统计显著性

核心论文主表给逐层均值，但未报告标准差、置信区间、随机种子、bootstrap 或显著性检验；Table 2 的每层约 250 个特征，但抽样方差未提供。故 0.01–0.03 的小差异不应当作可靠胜负；0.189 的 Clarity 差距更大、更值得复验，但也仍需独立重复。与之对照，PRISM Table 1 明确给 95% CI（例如 GPT-2 XL neuron 的 PRISM(max) AUROC 0.85，CI 0.78–0.91，PDF p.6），说明同类工作完全可以报告不确定性。

12.1 Transcoders Find Interpretable LLM Feature Circuits（Dunefsky et al., NeurIPS 2024）

解决什么： 把密集 MLP 替换成稀疏转码器，在 120M、410M、1.4B 参数模型上比较 SAE，并把跨层边分解为激活与固定权重两部分（arXiv v2, Abstract；PDF p.1）。
遗留缺口： 主要是人工案例与 GPT-2 greater-than circuit；作者承认转码器仍是近似、会丢信息，且计算限制使超参不充分（PDF pp.10–11, Limitations）。
核心如何回应： WeightLens 把固定连接的 case study 自动化，并加单 token 验证；CircuitLens 则把 prompt-specific attribution 扩展成可抽样、聚类、描述的流水线。
设计传递： activation × decoder–encoder dot product 直接进入核心 Eq.1；输入依赖/不变分离是整篇论文的代数支点。

12.2 Circuit Tracing（Ameisen et al., 2025）

解决什么： 用 cross-layer transcoder replacement model 生成单 prompt 的归因 DAG，并通过误差节点让替代模型输出与原模型局部匹配。
遗留缺口： 项目页明确指出 replacement mechanism 未必等于原模型机制；注意力主导任务可能令图失效，且 error nodes 构成“dark matter”。
核心如何回应： 采用 Jacobian 修正与注意力头 token 归因，并把单 prompt 图变成跨样本的 sparse contributor sets。
设计传递： frozen attention/normalization 的局部线性化、feature attribution graph、误差与冗余意识被继承；但核心没有把 error-node sufficiency 作为主指标。

12.3 FADE（Puri et al., ACL Findings 2025）

解决什么： 用 Clarity、Responsiveness、Purity、Faithfulness 把“好说明”分成四个可诊断维度；PDF pp.3–5 给出 Gini、自然样本分类与 steering 流程。
遗留缺口： 评测依赖合成样本、LLM judge 和特征干预；论文估计全量实验约 4,920 GPU-hour（FADE PDF Appendix，p.17）。
核心如何回应： 完整采用 FADE，避免只报一个 simulated activation score，并特别讨论低 Faithfulness。
设计传递： 四指标成为 Table 2/3 的坐标系，使“更清晰但更不纯”的权衡可见。

12.4 PRISM（Kopf et al., 2025）

解决什么： 不再强迫每个特征一个标签，而是对高激活句向量聚成 5 簇，分别描述；GPT-2 XL neuron 上 PRISM(max) AUROC 0.85 (0.78–0.91)，高于 MaxAct 0.53 (0.49–0.58)（Table 1, PDF p.6）。
遗留缺口： 聚类依据语义 embedding 而非计算路径；均值版有时显著落后 max，暴露 coverage–precision 权衡。
核心如何回应： 把聚类对象从句向量换成上游特征与注意力头模式，尝试按机制而非主题拆多义性。
设计传递： “簇级说明→合并说明”的结构直接传给 CircuitLens，但聚类准则发生关键替换。

12.5 Output-Centric Feature Descriptions（Gur-Arieh et al., ACL 2025 Main）

解决什么： 用 steering 后 token 变化或直接 unembedding 投影描述“特征把输出推向什么”；评测覆盖 2,560 个 MLP 特征，且人类评测抽取 100 个 Gemma SAE 特征（PDF pp.6,8）。
遗留缺口： 输入侧与输出侧说明经常不一致，unembedding 只给直接线性投影，难覆盖跨层间接后果。
核心如何回应： WeightLens 继承 f_dec·W_U，CircuitLens 加生成 token 的 Jacobian 归因。
设计传递： “触发—后果”双面说明成为 CircuitLens-Full；消融却显示输出侧并非总能提升平均 Clarity。

12.6 非线性技术演进树

                    自动解释：高激活样本 → LLM 标签
                         /                    \
        SAE：把多义神经元拆成稀疏特征       Output-Centric：看输出后果
             |                    \                    |
      FADE：四维评测             PRISM：语义簇拆多义性  |
             \                    /                    /
              \                  /                    /
       Transcoder：重构 MLP 映射，可分输入依赖/固定权重
                     |                         \
          Circuit Tracing：单 prompt DAG      权重连接 case study
                     \                         /
                      \                       /
              Circuit Insights（本篇）
               ├─ WeightLens：固定权重 + token 验证
               └─ CircuitLens：路径遮罩 + 机制聚类 + 输出归因
                        |
             下一步：边干预、统计稳定性、形式证书

演进动力有三次转折：从“神经元是否像一个概念”转向“稀疏特征是否更单义”；从“说明是否像激活样本”转向“说明是否解释输出后果”；再从“句子语义相似”转向“计算路径相同”。本篇处在第三次转折，但仍没有走到正式验证与反事实因果证书。

12.7 跨论文对标

理论

1. 局部归因 vs 真因果边： 在同一批 feature edges 上比较 CircuitLens Jacobian、Integrated Gradients、activation patching 与 exact edge ablation；预注册边级 precision/recall、输出 KL 与任务性能恢复率。若 Jacobian 边不能预测 patching 效果，就不能叫“电路”。
2. 聚类稳定性： 对同一特征做语料 bootstrap，比较 HDBSCAN 电路簇与 PRISM 语义簇的 adjusted Rand index、簇数方差和人类概念一致性；扫描 eps∈[0.3,0.9]、min_samples∈{2,3,5,10}，找稳定相区。
3. 可识别性： 构造已知 ground-truth circuit 的半合成 transformer，比较 WeightLens/CircuitLens 是否在功能等价但基变换不同的表示下保持说明不变；这能检验解释是机制不变量还是坐标伪影。

工程与应用

4. 等预算对比： 固定 20 A100-hour，比 24M CircuitLens、2.3B MaxAct*、PRISM 与 output-centric 的解释覆盖率×FADE×人工盲评；当前论文比较的数据量与计算预算不等，无法回答生产环境选谁。
5. 选择性输出追踪： 比较“所有特征追踪 15 token”与“只对晚层/低 Clarity 特征追踪 5 token”；报告总 GPU-hour、Clarity、Faithfulness 和每 0.01 增益成本，验证能否砍掉大部分 +12 GPU-hour。
6. 跨域迁移： 同一 Gemma 转码器在 Pile、代码、医学、中文四域分别生成说明，再交叉评测 4×4 矩阵；若跨域 Purity 崩溃，就说明权重解释也没有真正摆脱数据语境。

新兴方向

7. 安全电路监控： 在 jailbreak/拒答对上比较 activation-only、CircuitLens 和 formal circuit verification，评估危险边召回、假阳性、攻击后迁移与实时延迟；最终目标是可验证 guardrail，而非事后漂亮标签。
8. 训练数据→电路形成： 将 Mechanistic Data Attribution 找到的高影响训练样本与 CircuitLens 电路簇对应，删/增极少量样本后测试电路是否按预测出现或消失，建立“数据—电路—行为”三段因果链。
9. 自动解释器代理： 用 AgenticInterpBench 的 hypothesis–validate–explain 代理与单次 gpt-4o-mini 对比；必须限制相同 token/工具预算，并以未见 circuit 的 component accuracy、validation failure rate 与人类复核时间评价。