Generalization and Robustness of the Tilted Empirical Risk

0. 链接验证表与证据口径

以下链接均在 2026-09-19 实际访问。核心论文所有精确数字均来自 arXiv v3 HTML 的表格或正文；“本报告复算”只对表中数字做算术，不把曲线读数伪装成精确值。

页码/行号说明。 核心论文的主文定义与主要定理位于 PDF 论文页 2–5，对应 arXiv HTML 行 98–205；数据驱动选择与主结果位于论文页 6–7，对应行 300–354；附录实验位于 PDF 后部，对应行 1028–1079。由于 HTML 没有稳定的印刷页标，后文同时给出“表/定理/式号 + HTML 行号”，必要时再给 PDF 页域。数字旁的“复算”表示由同一行原报数字计算绝对差或相对比例。

1. 候选池、排重与随机选择

先核对 ml-report-index.md，排除最近 14 天已深度覆盖的理论与可信主题，包括 2026-09-05 的 Emergent Misalignment、2026-09-09 的扩散记忆、2026-09-12 的坐标缺失鲁棒回归，以及 2026-09-15 的多模态安全对齐。随后从 ICML/PMLR、OpenReview、arXiv、ACL Anthology、Hugging Face Daily Papers、Papers with Code 与 Semantic Scholar 交叉收集候选；后四类入口有些只返回聚合页或无稳定正文链接，因此候选条目的最终身份统一以官方 proceedings/OpenReview/arXiv 为准。

冻结后的 24 篇候选为：① Enhancing Adversarial Robustness with Conformal Prediction；② What Makes an Ensemble Interpretable?；③ Explaining Fast and Slow；④ Differentially Private MCMC；⑤ GaussMark；⑥ Probably Approximately Global Robustness Certification；⑦ TRUST-VLM；⑧ Exactly Tight Information-theoretic Generalization Bounds；⑨ Improving Zero-Shot Adversarial Robustness of VLMs；⑩ A Lens into Interpretable Transformer Mistakes；⑪ ERICT；⑫ Active Reward Modeling；⑬ Privacy-Shielded Image Compression；⑭ Weak-to-Strong Jailbreaking；⑮ Stable Fair Graph Representation Learning；⑯ Avoiding Leakage and Poisoning；⑰ Generalization and Robustness of the Tilted Empirical Risk；⑱ Prediction via Shapley Value Regression；⑲ Mechanistic Interpretability to Biology；⑳ Speak Easy；㉑ De-mark；㉒ Subgroups Matter；㉓ False Coverage Proportion Control；㉔ Beyond Black-Box Agentic Tool Use。

执行命令 shuf -i 1-24 -n 1，结果为 17。核心论文资料完整、发表于 ICML 2025、距运行日不足 24 个月，因此无需重抽；重抽次数为 0。完整候选池及发现入口另保存在同目录候选记录中。

2. Motivation：ERM 到底在哪儿坏掉

标准经验风险最小化使用平均损失

$$\widehat R(h,S)=\frac1n\sum_{i=1}^n \ell(h,Z_i),$$

其优点是线性、无偏且优化成熟；缺点也是线性：一个极大的损失会以同等系数直接进入平均值。在重尾数据里，方差甚至可能不存在；在污染训练集里，少量远离主体的数据可以牵引参数。论文的例子把这个痛点量化得很直接：线性回归加入 44.45% Pareto 异常值后，ERM 的总体风险为 2.2190±0.0011，而数据驱动负倾斜为 0.4908±0.0001（附录表 4，行 1059–1066），绝对下降 1.7282，复算相对下降 77.88%。在 44.45% Gaussian 异常值下，ERM 为 0.3070±0.0001，数据驱动负倾斜为 0.15399±0.0001（附录表 5，行 1067–1074），绝对下降 0.15301，复算相对下降 49.84%。

但“鲁棒”并非免费。若把负倾斜幅度做得更大，极大损失样本的指数权重会快速趋近 0，污染影响减弱；同时，估计量对正常但困难样本也更不敏感，且理论界中的 $e^{|\gamma|\kappa}$ 项会变大。若令 $\gamma\to0^-$，TER 回到 ERM，倾斜偏差消失，鲁棒保护也消失。论文真正要解决的不是“负数总比零好”，而是三个量的平衡：

1. 倾斜偏差：TER 不再直接估计平均总体风险；
2. 有限样本估计误差：对指数化损失再取对数，稳定性依赖 $n,\gamma$ 与矩条件；
3. 训练—测试分布差异：污染越大，需要更负的 $\gamma$ 去压制异常值。

其研究问题因此可写成：在损失无界、只知道 $(1+\epsilon)$ 阶矩有限时，能否为负倾斜 TER 给出一致收敛、信息论与分布漂移保证，并据此选择 $\gamma$？这比原始 TERM 主要展示“一个旋钮统一公平、困难样本强调和异常值抑制”更进一步：它问这个旋钮什么时候有统计担保。

3. 论文故事线、核心假设与权衡

故事线有四步。第一步把总体风险减去 TER 定义为 tilted generalization error；第二步在同分布场景中把它分成“总体平均风险—总体 entropic risk”的倾斜偏差和“总体 entropic risk—经验 TER”的抽样误差；第三步引入总变差距离，将训练分布 $\tilde\mu$ 与测试分布 $\mu$ 的差异变成额外鲁棒项；第四步把这些上界拼成 $\gamma$ 的可优化目标，并扩展到带 KL 正则的随机学习算法。

最重要的假设是 Assumption 3.1：对所有 $h\in\mathcal H$，存在 $\kappa_u>0$，使

$$\mathbb E_{\mu}[\ell(h,Z)^{1+\epsilon}]\le \kappa_u^{1+\epsilon},\quad \epsilon\in(0,1].$$

这比“损失有界”弱，也允许二阶矩不存在，例如实验中的 Pareto shape 1.5 对应 $\epsilon=0.5$；但它仍是全假设空间统一矩界。主统一定理还先处理有限 $\mathcal H$，无界损失下的下界要求 $n$ 超过一个含 $e^{2\gamma\kappa_u}$ 的阈值（Theorem 3.5，行 189–199）。因此“无界损失”不是无条件：尾部可重，但必须存在给定阶矩；样本可有限，但必须过门槛；假设空间可大，但主式里先以 $\log|\mathcal H|$ 进入。

论文的关键权衡是：$|\gamma|^\epsilon\kappa_u^{1+\epsilon}$ 随倾斜幅度增加而增大，代表平均风险与 entropic risk 的偏差；污染项大致随 TV 距离乘以一个 $\gamma$ 相关的指数差商变化，在负倾斜更强时可下降；而估计项同时含 $1/|\gamma|$、$e^{|\gamma|\kappa_u}$ 和 $n^{-1/2}$。这不是一个单调旋钮，而是 U 形或更复杂的相变地形。

4. 方程级形式化

5. 可执行流程与工程细节

输入：训练集 S，若可得的干净参考集 S_ref，候选 γ<0，模型 hθ
1. 估计 ε 与矩尺度 κ_s；若有 S_ref，再估计 κ_u 与污染 TV 上界
2. 对每个 γ：计算理论代理 B(γ)=倾斜偏差+污染项（实际还应加有限样本项）
3. 选 γ_data = argmin B(γ)
4. 迭代优化：
      loss_i ← ℓ(hθ, z_i)
      w_i ← softmax(γ loss_i)
      θ ← θ - η Σ_i w_i ∇θ loss_i
5. 在未参与 γ 选择的干净验证集上报告均值、尾部风险与校准
输出：hθ 与 γ_data，同时记录有效样本量 1/Σ_i w_i²

论文实际实现与更稳健工程建议不能混为一谈。下面“论文原报”只复述可核实配置；“报告建议”是迁移时应补的护栏。

6. 数据集、基准与指标

论文没有公共真实数据集。它评估两个任务、两类异常分布与五个污染率：Logistic/Gaussian、Logistic/Pareto、Linear/Gaussian、Linear/Pareto，另有一个无显式 outlier 的 Pareto Logistic 场景。指标统一是干净总体分布 $\mu$ 下的 population risk，越低越好；这不是 accuracy、AUC，也不是训练 TER 本身。$\rho$ 是异常样本数相对原训练样本数的比例；Linear 表的 0.049%、9.13%、16.70%、33.35%、44.45% 与 Logistic 表的 0.1%、约 17.6%、35%、52.5%、70% 不是同一网格。

方法只有三种：oracle grid TERM、ERM、data-driven TERM。故无法诚实凑出“五基准×六方法”；下表按论文完整可比的四个场景×五污染率呈现三方法。所有均值和标准差来自论文表 1、2、4、5；括号中的百分比为本报告以 ERM 为基准复算的相对风险变化。由于若 ERM 或 oracle 报为 0，比例会失真，相关单元只给绝对差或标“不可定义”。

7. 完整主结果数据矩阵

8. 逐层消融、敏感性与相变

9. 真正贡献、可复用设计与迁移潜力

第一项真正贡献是把 TER 的目标从“自身的 entropic risk”重新锚定到普通总体平均风险。Proposition 3.2 明确量化两者差距，避免用一个新指标赢一个旧问题的偷换。第二项是仅以 $(1+\epsilon)$ 阶矩处理无界损失，并给出 uniform 与 mutual-information 两条界；这让 TERM 能与重尾统计而非只与 bounded-loss 学习对话。第三项是把 distribution shift 作为显式 TV 项写入 $\gamma$ 选择，形成可优化的偏差—鲁棒代理。第四项是倾斜 Gibbs 后验：它把经验上的 log-sum-exp 权重与 KL 正则、SKL 信息量连接起来，具有迁移到 Bayesian/随机化优化的价值。

可复用设计至少有四个：

1. 先分解目标错配，再做集中。 任何非线性风险都应先界定其与最终评测风险的偏差；不能只证明 surrogate 自洽。
2. 把鲁棒超参写成可解释上界的最小化。 即使最终常数不够 tight，也能暴露所需未知量，指导数据采集。
3. 同时报告 oracle 与 deployable selector。 二者差距本身是研究对象，不应把 oracle 当方法成绩。
4. 监控权重有效样本量。 对指数重加权，$1/\sum_iw_i^2$ 能直接暴露强负倾斜是否只在极少数低损失点上训练；原论文未报告，但迁移时非常重要。

迁移上，off-policy learning 已证明同一 log-sum-exp 算子可用于重尾 importance-weighted reward；联邦学习可按客户端损失倾斜；LLM post-training 可对异常 preference pair 降权；时间序列可对突发污染抑制。然而所有这些场景都需区分“高损失=坏数据”与“高损失=罕见但重要数据”。若群体少数样本天然更难，负倾斜可能改善平均鲁棒性却伤害 worst-group fairness。

10. 相关工作：问题来源、遗留缺口与设计传递

11. 非线性技术演进树与转折

                         普通 ERM：平均损失
                        /                \
        风险敏感学习：entropic risk      鲁棒统计：截断 / Catoni / MOM
                    |                         |
                    |                         +-- 只需有限矩，但目标/优化另设
                    v
        TERM / Tilted Losses（2021→2023）
          ├─ γ<0：soft-min，异常值降权
          ├─ γ=0：ERM
          └─ γ>0：soft-max，困难组/公平
                    |
          ┌─────────┴──────────┐
          v                    v
  信息论泛化 / Gibbs       LSE Off-policy（ICML 2025）
          |                    |
          └─────────┬──────────┘
                    v
  Generalization & Robustness of TER（ICML 2025）
          ├─ 无界损失 + (1+ε) 阶矩
          ├─ uniform / MI 两条泛化界
          ├─ TV 分布污染与 γ_data
          └─ tilted Gibbs posterior
                    |
          ┌─────────┼──────────────┐
          v         v              v
   tight divergence 真实/深模型验证   无干净参考的联合估计
   （Binary-JS）    与服务成本       （TV, ε, κ, γ）

演进动力与转折。 第一转折是从“平均”转向“可调尾部”：同一个 log-sum-exp 统一 soft-min 和 soft-max。第二转折是把优化旋钮变为统计对象：不能只看训练稳定性，必须控制普通总体风险。第三转折是从同分布泛化转向训练污染：$\gamma$ 不再只由样本量决定，还由 shift 大小决定。当前尚未完成的第四转折，是从“知道 $\mu$、TV、尾指数”的证明世界走到只看到一份混合训练集的部署世界。

12. 论文自述限制

1. 过参数化缺失。 作者在 Future Works（第 9 节；行 412–416）明确指出尚未覆盖 overparameterized/mean-field regime。因为主统一式首先依赖有限 $|\mathcal H|$，所以不能直接把结论宣称到现代深网。
2. 无界损失仍有样本量门槛。 作者在第 9 节行 417 承认，无界损失结果需要 $n$ 的下界；bounded-loss 附录才放宽。因为门槛包含 $\gamma,\kappa,\delta,\zeta$，所以小样本时“理论选出的 $\gamma$”可能根本不在定理适用区。
3. 正倾斜未解决。 第 9 节行 418–420 与 Impact Statement 行 424–426 明说，无界损失下只分析 $\gamma<0$，未覆盖正倾斜的 imbalance/fairness 用途。因此本论文只为 TERM 旋钮的一半提供核心担保。

13. 独立批判：证据 → 推论

1. [外部效度] 因为全部精确实验只在二维 Logistic/Linear 合成数据上，样本量分别为 1,000/2,000，且没有真实数据或深网，所以表中最高 77.88% 的相对风险下降不能外推为真实系统收益；它只证明机制在受控分布族中可见。
2. [调参可部署性] 因为 $\gamma_{data}$ 的实现用真实数据集估计 $\kappa_u$，并用已知异常数量得到 TV 上界（行 1028–1036），所以“data-driven”仍含部署时通常不可见的干净分布/污染标签；应称半 oracle selector，而非完全无监督选择。
3. [oracle 归因] 因为 $\gamma^\star$ 直接以干净总体风险网格搜索（行 322–336），所以它是潜力上限，不是可运行基线；把其 2.2190→0.1229 的 94.46% 降幅当方法成绩会发生测试信息泄漏。
4. [理论 tightness] 因为上界同时含 $e^{|\gamma|\kappa}$、$1/|\gamma|$、TV 与未知矩常数，却没有报告 bound/value ratio 或覆盖率，所以只能确认渐近结构，不能确认上界在实验尺度不 vacuous。
5. [统计可靠性] 因为每格只有 3 runs，且无 CI/检验，所以即使标准差很小也不能评估 Pareto 重尾下稀有极端值造成的抽样不稳定；三次均值优于 ERM不等于显著优势。
6. [公平性副作用] 因为负倾斜按损失而非异常身份降权，所以少数群体、长尾类别或 genuinely hard examples 也会被压低；因此平均风险鲁棒可能以 worst-group risk 为代价，论文未同时报告 subgroup 指标。
7. [形式一致性] 因为附录称使用 square loss，却把公式写成 $\ell(h,z)=\tfrac12(h^Tx-y)$，缺少平方（行 1049），所以至少存在排版或实现说明错误；在无代码情况下无法确认表 4–5 实际优化的损失。
8. [选择器失配] 因为 Linear/Pareto 44.45% 时 data-driven 风险 0.4908 仍比 oracle 0.1229 高 299.35%，而 Linear/Gaussian 同污染率只高 0.65%，所以同一个理论代理对尾族高度敏感；未知 $\epsilon$ 或矩估计误差很可能主导实际失败。

14. 开放挑战：可操作的 head-to-head 实验空白

15. 近期工作雷达（经验证链接）

1. Log-Sum-Exponential Estimator for Off-Policy Evaluation and Learning（ICML 2025）：同一算子在 importance-weighted reward 上得到 $O(n^{-\epsilon/(1+\epsilon)})$ regret，说明技术可离开监督回归；但 propensity 与 bandit 结构也带来不同偏差源。
2. Exactly Tight Information-theoretic Generalization Bounds via Binary Jensen–Shannon Divergence（ICML 2025）：直接针对信息论界过松，适合作为本文 mutual-information 分支的下一代对照；已有代码。
3. Adaptive Estimation and Learning under Temporal Distribution Shift（ICML 2025）：把 shift 从静态 TV 污染扩展到时间变化并追求末时刻 sharp rate，为在线 $\gamma_t$ 提供更现实的漂移模型。
4. Model Assessment and Selection under Temporal Distribution Shift（ICML 2024）：用自适应滚动窗和 tournament 做模型选择，能启发“不知道干净分布时如何选 $\gamma$”；但它选择模型而非直接重加权样本。
5. A Systematic Review on Long-Tailed Learning（arXiv 2024）：提醒“长尾类别”与“重尾损失/异常值”不是同一个问题；TERM 迁移到视觉长尾时必须同时报告类别公平，而非把尾类高损失一律压制。
6. Generalization and Robustness of the Tilted Empirical Risk（ICML 2025）：本报告核心；价值在统一界与明确的 $\gamma$ 权衡，短板在部署可见性和实证规模。

16. 最终判断

这篇论文值得看，不是因为它已经给出“鲁棒学习默认用负 $\gamma$”的答案，而是因为它把 TERM 的统计账本写清楚了：普通风险目标、指数倾斜偏差、有限样本集中、分布污染和算法信息量各自在哪一项出现。对理论研究者，$O(n^{-\epsilon/(1+\epsilon)})$ 与 TV shift 的拼接是一个可继续收紧的基线；对工程研究者，最有用的则是 oracle 与 data-driven 的差距——它暴露了尾指数、污染率与干净参考信息才是实际部署的瓶颈。

最关键的定量发现是：数据驱动 TERM 在 Linear/Pareto 的 44.45% 污染下把 ERM 风险从 2.2190 降到 0.4908（−77.88%），但仍远高于 oracle 0.1229（+299.35%）；同样配置在 Linear/Gaussian 下却只比 oracle 高 0.65%。因此现有证据支持“负倾斜有强鲁棒潜力”，不支持“当前理论 selector 已跨尾分布可靠”。

制作与审计脚注。 报告所列 URL 已实际访问；没有公开代码、数据/权重或项目页之处明确标为“未找到/未公开”。本环境未发现 /usr/bin/chromium 或 /opt/pw-browsers 可执行浏览器，且按要求未运行 playwright install；HTML 将以 Warm Editorial 模板、结构验证器、静态响应式规则和语义检查替代截图验证，不虚称完成浏览器渲染。ml-report-index.md 已更新。本报告不补造论文未报告的真实数据结果、显著性、超参曲线精确读数或标准差。