ML / AI DAILY DEEP PAPER · COLT 2026

坐标级缺失为何与任意替换同样困难?

Adversarial MNAR × Minimax Phase Diagram × Coordinate Coupling

COLT 2026 · PMLR 336 2026-09-12 理论与可信 / 鲁棒统计

在 N(0,I) 线性回归中,每列仅 η 比例的自适应缺失就足以达到任意替换的 minimax 难度,并在 η≈Θ(1/√d) 处使零估计器成为量级最优。

0. 链接验证、版本与可复现性审计

下表链接均已实际访问。访问日期为 2026-09-12;“未找到”表示在论文主页、arXiv 元数据及公开检索中没有定位到作者发布的对应资源,不等于作者明确承诺不会发布。

对象 会议 / 官方页 arXiv(具体版本与日期) 代码 数据 / 权重 项目页 / 视频 核验结论
核心论文 PMLR 336 正式页;COLT 2026 accepted papers;正式 PDF arXiv:2509.19242v2,v1 2025-09-23,v2 2026-07-14 未公开 / 未找到 纯理论论文,无数据集与权重 作者论文列表;独立项目页/视频未找到 标题、作者、45 页正文及 PMLR 页码一致
Liu et al. 2021 ICML 2021 / PMLR 139;PDF 未找到独立 arXiv 版本 未找到 论文含合成实验,无专门数据发布页 未找到 作为坐标级污染的直接问题来源
Hu & Reingold 2021 AISTATS 2021 / PMLR 130;PDF 未找到独立 arXiv 版本 未找到 无权重;数据不是核心贡献 未找到 作为“先定缺失模式、再污染整样本”的较弱模型来源
Diakonikolas et al. 2023 arXiv:2312.01547v1;PDF v1 2023-12-04 未找到 纯理论,无权重 未找到 为核心论文 A1 提供 Huber 样本级鲁棒回归上界
Loh & Wainwright 2012 Annals of Statistics DOI arXiv:1109.3714v2 未找到官方仓库 论文含仿真,无权重 未找到 代表 MCAR / 随机缺失协变量回归线

版本判断。 正式 PMLR 版本刊于 2026-06-29 的 COLT 2026 卷,arXiv v2 更新于 2026-07-14。以下页码以 PMLR 45 页 PDF 为准;arXiv 页面日期只用于版本审计,不用于结果数字。

1. 候选池、去重与随机选择

运行日对应“理论与可信”。先查阅本地 ml-report-index.md:近 14 天已深度覆盖 DocVXQA、Emergent Misalignment、Ambient Creativity、VIKI-R、Scale Search 等解释性、安全、生成隐私和量化主题;本次的“坐标级鲁棒回归 / adversarial MNAR”与它们既不同题,也不是相同方法线的轻微变体。

候选来自 COLT 2026 的官方 PMLR Volume 336,同时用 arXiv、会议 accepted/program 页面和公开论文检索交叉核对标题与日期。理论方向不适合用 ACL Anthology;Papers with Code 与 Hugging Face Daily Papers对这批定理论文覆盖不完整,因此没有把“是否上榜”作为入池门槛。最终保留 31 篇正式长文候选:

# 候选论文 主题标签
1 On efficient robust regression with subquadratic samples 鲁棒回归 / 统计—计算权衡
2 Optimal Prediction-Augmented Algorithms for Testing Independence of Distributions prediction-augmented learning
3 Query Efficient Structured Matrix Learning 查询复杂度
4 Statistical Learning from Attribution Sets 弱监督 / 隐私归因
5 Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization 优化 / 重尾
6 Limitations of SGD for Multi-Index Models Beyond Statistical Queries SGD 下界
7 Omniprediction with Long-Term Constraints 校准 / 长期约束
8 Actively Learning Halfspaces without Synthetic Data 主动学习
9 Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness 在线学习 / 隐私
10 Tight list replicability bounds via a novel sphere covering theorem 可复现学习
11 Learning from Equivalence Queries, Revisited 查询学习
12 Active Learning on Adversarially Corrupted Graphs 对抗污染 / 图
13 Universal priors: solving empirical Bayes via Bayesian inference and pretraining 经验贝叶斯
14 Faster Newton Methods for Convex and Nonconvex Optimization in Gradient Complexity 二阶优化
15 Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression 鞅 / 回归
16 Calibeating Made Simple 校准
17 Is Memorization Helpful or Harmful? Prior Information Sets the Threshold 记忆 / 泛化
18 Eigen-Spike Emergence and Quadratic Equivalents for Conjugate Kernels 核方法
19 Tight Bounds for Logistic Regression with Large Stepsize Gradient Descent 隐式偏置
20 Rigorous Asymptotics for First-Order Algorithms Through the Dynamical Cavity Method 高维渐近
21 Stochastic Safe Action Model Learning 安全学习
22 High-Dimensional Gaussian Mean Estimation under Realizable Contamination 鲁棒均值 / 计算鸿沟
23 Linear Regression under Missing or Corrupted Coordinates 对抗缺失 / 鲁棒回归
24 Minimax optimal differentially private synthetic data for smooth queries 差分隐私
25 Rate-optimal community detection near the KS threshold via node-robust algorithms 鲁棒图学习
26 Theoretical Compression Bounds for Wide Multilayer Perceptrons 压缩 / 泛化
27 Defensive Generation 生成安全
28 Toward Simultaneously Optimal Regret in U-Calibration 校准 / regret
29 Nearly Linear-Time User-Level DP-SCO with Optimal Rates 用户级隐私优化
30 Testing Noise Assumptions of Learning Algorithms 噪声假设检验
31 Sample-Efficient Omniprediction for Proper Losses omniprediction

严格执行 shuf -i 1-31 -n 1,输出 23,因此核心论文为本报告主题。其正式论文、附录、版本和四条直接相关工作链均可读取,资料足以支持深度报告,故 重抽 0 次。候选池快照另存于 candidates_2026-09-12.tsv;选择不是按引用、热度或本报告作者偏好完成。

2. Motivation:为什么“每列只坏一点”仍可能毁掉回归?

经典 Huber contamination 以“整行”为预算单位:ε 比例样本可任意污染,其余样本完整可靠。本文把预算转成“每列”:对每个特征坐标 j,对手可在看完全部干净数据后,删除至多 ηn 个 X_j;也可用任意值替换,且替换位置不告诉学习器。标签也允许同样比例的删改。这个模型捕捉多传感器故障、跨机构字段拼接、分散测量与数据投毒交叠时的事实:一行里只要有一个字段出错,就不能把整行当作干净样本;但每一列看上去又只有少量异常。

痛点一是朴素“并集界”会把 η 放大为约 η(d+1)。论文的 A1 正是把任何含坏坐标的行视为整行污染,于是只能在 ηd<0.49 时工作,误差为 O(ηdσ)(Fact 4,PDF p3;附录 A.1,p19)。这在 d 大时非常苛刻:若 d=10,000,η=0.01%,则 ηd=1,A1 的适用条件已被破坏,尽管每列只坏万分之一。

痛点二是“删除位置已知”未必提供信息优势。直觉上,看到 ⊥ 应比面对一个看似正常的假值容易;然而论文给出的下界只使用删除,算法上界却允许更强的任意替换。两者在几乎整个参数空间匹配到常数,因而删除位置可见并没有普遍改善 minimax 误差(Table 1,PDF p4–5)。这不是“算法没利用好缺失标记”,而是非可识别性:对手能选择性遮掉两个不同回归模型发生分歧的坐标,使观测分布相同。

痛点三是误差不再随 n→∞ 消失。论文明确研究 unlimited samples 下仍保留的污染偏差;Theorem 5 的 n 只出现在一个接近 1/2 的测试失败概率修正项中,且作者解释该影响随 n 增大消失(PDF p4 脚注 2)。所以问题不是“再收集一些样本”,而是数据生成机制本身失去可识别性。

最强的量化现象是维度依赖的相变:非平凡估计的临界污染率是 Θ(1/√d),不是样本级鲁棒统计熟悉的常数 1/2(PDF p5)。当 η≥√(7/d) 时,任何估计器都可能有 Ω(||β||) 误差;零向量 A3 的误差正好是 ||β||,因此从量级上已经最优。

3. 论文故事线:三个上界、四个下界区间、一个反直觉等价

论文的故事不是发明一个复杂新优化器,而是把一个此前几乎未刻画的问题压缩成完整的 phase diagram。

第一步给出三个简单上界。A1 把坐标污染升级成样本污染,调用已有鲁棒线性回归;A2 使用高斯各向同性恒等式 E[yX]=β,逐坐标做一维鲁棒均值估计;A3 直接输出零。三个策略分别适合超小 η 且信号很强、中等 η、以及污染过强或信号很弱的区域(Fact 4,p3;Tables 2–4,p20)。

第二步不是再设计第四个算法,而是证明谁都不可能系统性击败这三个上界。Theorem 5 把参数空间分成 small-β、large-η、medium-η、small-η 四种下界构造。困难在于同一耦合不能覆盖所有区间:噪声 σ 相对信号 ||β|| 很小时,条件高斯会趋近奇异,基本 TV 耦合失效。作者因此依次引入“最后一维当噪声”“坐标随机置换”“前后半坐标分别耦合”“再拆标签贡献”等技术(§1.2,PDF p5–7)。

第三步把上下界夹在一起。上界对任意替换成立,下界甚至只需删除、且不需要遮掉标签。于是得到核心结论:在这个最坏情形模型下,missing 与 corrupted 在最优误差上等价;困难完全可以来自 X 的缺失,而非 y 的污染(PDF p5)。

这条结论有三个重要权衡。其一,覆盖面来自强假设:X~N(0,I),协方差已知且各向同性。其二,结论是误差量级而非有限样本常数;0.49、0.24 是上界算法的适用常数,不代表普适安全阈值。其三,统一算法 Theorem 14 可以自适应选 A1/A2/A3,但仍需要 η,并依赖一组“足够大且层级分离”的隐藏常数(附录 A.3,p21–22)。

4. 方程级形式化与证明机制

4.1 干净模型与两个对手

干净数据满足

X ~ N(0, I_d)
y = βᵀX + ξ,      ξ ~ N(0, σ²)
目标:由 n 个被删改样本估计 β,损失为 ||β̂-β||₂。

坐标级缺失对手先看完整数据集,然后对每个 j∈[d] 删除至多 ηn 个 X_j;标签列也可删除 ηn 个。坐标级替换对手拥有同一预算,但可将值改成任意数且不暴露位置(Definitions 1–3,PDF p2)。这是 data-dependent MNAR,比 MCAR、MAR,也比“先固定缺失模式再抽样”更强。

4.2 三个上界

A1 使用并集界。若一行只要任一坐标被改就算整行坏,则坏行比例至多

ε ≤ η(d+1) ≈ ηd。

调用 Huber 样本级鲁棒回归,得到 ||β̂-β||=O(ηdσ),适用 ηd<0.49。附录 A.1 进一步指出可调用 Diakonikolas et al. 2023,其样本复杂度为 Õ(d/ε²)(核心 PDF p19)。

A2 来自矩恒等式:

E[yX] = E[(βᵀX+ξ)X] = E[XXᵀ]β + E[ξX] = Iβ = β。

每个乘积 yX_j 最多被 X_j 和 y 两侧各污染 η,合计至多 2η;其方差由 O(||β||²+σ²) 控制。对 d 个坐标分别运行一维鲁棒估计,合并后得到

||β̂-β|| = O(η√d · √(||β||²+σ²)),     η<0.24。

A3 输出 0,因此确定性地有 ||β̂-β||≤||β||。三者均是多项式时间,Fact 4 统一声明使用 O(poly(d/η)) 样本并以至少 0.99 概率满足上界(PDF p3、p19)。

4.3 下界:从估计转成不可区分测试

若存在两个参数 β,β′,且污染后观测分布完全相同,那么任何估计器至少在其中一个世界里承受 ||β-β′||/2 误差。作者构造单样本耦合 (X,y),(X′,y′),要求每个坐标发生分歧的概率均不超过 η;对手只需删掉发生分歧的位置,就能让两份数据完全一致(Lemma 9 与 §2,PDF p7–9)。

基本混合耦合把 X|y 和 X′|y 之间的变化拆成 d 步:第 i 步只改一个均值坐标。对相邻的一维差异使用 maximal coupling,其不相等概率等于 TV 距离;这样每一步只需要删一列中的少量位置(Lemma 10、Claim 11,PDF p8–10)。

低噪声时,条件协方差趋向奇异,直接 TV 路径会退化。Lemma 13 的修正是只耦合前 d−1 个坐标,把最后一个坐标设成满足总和约束的“剩余项”,再随机打乱坐标顺序。单坐标分歧概率从最后一维必为 1,被稀释为约 ( |t-t′|+1 )/d(技术概览,PDF p6)。中等 η 再把坐标一分为二;极小 η 则同时细分坐标与标签贡献,避免“至少一个分歧坐标”形成的 1/d 地板(PDF p6–7)。

4.4 可执行伪代码:统一策略的逻辑骨架

input: coordinate corruption rate η, corrupted samples S

1. 根据 η 判断允许候选:
   - η < 0.49/d:A1, A2, A3 均可
   - 0.49/d ≤ η < √(7/d):只比较 A2, A3
   - η ≥ √(7/d):直接 A3
2. 运行候选估计器,得到 β̂1, β̂2, β̂3。
3. 用 A1 残差 y - β̂1ᵀX 与一维 trimmed mean 鲁棒估计 σ²,构造 e1≈ηdσ。
4. 类似估计 e2≈η√d·√(||β||²+σ²)。
5. 若 C e1 < e2,返回 β̂1;
   否则若 ||β̂2|| > C' e2,返回 β̂2;
   否则返回 0。

这不是正文逐行代码,而是 Theorem 14 证明的结构化转写(附录 A.3,PDF p21–22)。论文只给存在性常数 C≪C′≪C″,没有给可直接运行的数值。

5. 关键机制与工程细节

组件 数学作用 适用条件 成本 / 细节 可复用性 来源
A1:行级鲁棒回归 把坐标污染并成 ε≈ηd 的样本污染 ηd<0.49 多项式时间;一个实例为 Õ(d/ε²) 样本 任意成熟 Huber 回归器可替换 Fact 4 / App. A.1,p3、19
A2:逐坐标矩估计 用 E[yX_j]=β_j 恢复各坐标 η<0.24 每列最多 2η 污染;高斯乘积为次指数 可迁移到有显式矩恒等式的模型 Fact 4 / App. A.1,p3、19
A3:零估计器 给出强污染区 minimax 基线 任意 η 零计算、误差 ` β
混合 Gaussian path 把联合分布差异拆成单坐标差异 条件协方差相同 d 个中间分布 + maximal coupling 适用于坐标预算下界 §1.2、Lemma 10,p5–10
最后一维作噪声 绕开 σ→0 时条件分布奇异 大 η / 低噪声 随机置换把一个必分歧坐标摊到 d 列 “牺牲一维换可耦合性”很通用 Lemma 13 概览,p6
二分坐标 / 标签 让中、小 η 构造达到目标预算 1/d≪η≪1/√d 与 η≪1/d 不同区间需要不同 hard instance 展示 phase-specific lower bound 设计 §1.2,p6–7
Meta-algorithm 自动取 A1/A2/A3 最佳量级 需要已知 η 鲁棒估 σ 与误差 proxy;常数未实例化 模型选择思想可独立复用 Theorem 14,p21–22

“工程细节”在此主要指算法可实现性边界,而不是 GPU 配置。论文未报告运行时间实测、内存、软件栈、随机种子、数据预处理或代码入口;因此只能确认多项式时间和样本量级,不能确认端到端效率。

6. 数据集、基准与指标说明

本论文 没有实验数据集、没有经验基准、没有训练过程,也没有模型权重。这不是报告遗漏,而是论文的研究对象是 population-level minimax error。因此,本节保留但将传统“数据集—指标”映射为“模型族—对手—风险函数”:

评测对象 定义 论文控制变量 指标 能回答什么 不能回答什么
高斯线性回归 X~N(0,I), y=βᵀX+ξ d、η、σ、` β
坐标级缺失 每列删 ≤ηn,位置可见 对手可看完整数据 同上 adversarial MNAR 的信息极限 随机缺失下的平均性能
坐标级替换 每列改 ≤ηn,位置未知 任意替换值 同上 更强污染模型的算法上界 实际异常检测精度
预测风险 线性模型 population MSE 同上 `L(β̂)=σ²+ β̂-β
GLM / ReLU 推论 realizable y=f(βᵀX) 单调 Lipschitz 激活 population MSE 下界 部分下界可迁移 匹配上界与实际神经网络表现

统计显著性也不适用:论文没有重复试验、标准差、置信区间或 p 值。Fact 4 报告的是至少 0.99 的成功概率;Theorem 5 下界事件概率为 1/2 - (d+1)e^{-Ω(c²ηn)}/2,这是理论概率保证而不是经验显著性(PDF p3–4)。

7. 完整主结果矩阵:参数区间而非伪造 benchmark

论文没有“五基准×六方法”式实验表。为避免把定理伪装成测量,本报告按 Tables 2–4 重建七个互斥参数区间;“最优”只表示上下界在常数因子内匹配。记 b=||β||。

η 区间 b 区间 A1 上界 A2 上界 A3 上界 匹配下界 量级最优策略 / 结论
η≥√(7/d) 任意 b 不适用 不优于 b b Ω(b) A3;无法非平凡估计
0.49/d≤η<√(7/d) b<η√dσ 不适用 O(η√dσ) b Ω(b) A3
同上 η√dσ≤b<σ 不适用 O(η√dσ) b Ω(η√dσ) A2
同上 b≥σ 不适用 O(η√d b) b Ω(η√d b) A2;Theorem 5(c) 有小常数带缺口
η<0.49/d b<η√dσ O(ηdσ) O(η√dσ) b Ω(b) A3
同上 η√dσ≤b<σ O(ηdσ) O(η√dσ) b Ω(η√dσ) A2
同上 σ≤b<√dσ O(ηdσ) O(η√d b) b Ω(η√d b) A2
同上 b≥√dσ O(ηdσ) O(η√d b) b Ω(ηdσ) A1

来源:核心论文 Table 1(PDF p4)及展开版 Tables 2–4(p20)。主表中的 O/Ω 隐藏不同绝对常数,所以不能计算通常意义的“绝对 pp 提升”和“相对百分比提升”;任何声称“A2 比 A1 精确提升 37%”的数字都会是捏造。

Theorem 5 原始四段下界是:

  • 若 b≤σ,误差 Ω(min(b,η√dσ));
  • 若 η≥√(7/d),误差 Ω(b);
  • 若 (2+c)/d≤η≤√(7/d),误差 Ω(cη√d b);
  • 若 η≤1/d,误差 Ω(min(ηdσ,η√d b))。

这些量级在 Table 1 所覆盖的区域与 A1/A2/A3 对齐;唯一需要谨慎的是 medium-η 下界要求 η≥(2+c)/d,而汇总表区间从 0.49/d 起,因此在一个宽度为常数倍 1/d 的窄带内并非字面全覆盖(Table 1 星号,PDF p4)。

8. 逐层消融、超参敏感性与相变

8.1 “消融”应如何诚实书写

论文没有经验消融。能做的严格替代是比较去掉某一理论组件后哪个参数区间失去匹配:

去掉组件 直接后果 失去的区间 证据
去掉 A1 强信号、极小 η 时只剩 O(η√d b),不能达到与 b 无关的 O(ηdσ) η<0.49/d, b≥√dσ Table 4,p20
去掉 A2 中等 η 的误差退化到 b,无法得到 η√d 缩放 η<√(7/d) 且信号不太弱 Tables 3–4,p20
去掉 A3 在弱信号或大污染时,复杂估计器反而给更松上界 b<η√dσ 或 η≥√(7/d) Tables 2–4,p20
只用基本 hybrid coupling σ/b→0 时条件高斯趋近奇异,TV≈1 large-η / noiseless §1.2,p6
不随机置换最后一维 最后一坐标分歧概率为 1,无法满足每列 η<1 η≈1/√d 相变构造 §1.2,p6
不拆坐标与标签 分歧数存在 Ω(1) 地板,无法进入 η≪1/d small-η §1.2,p7

这是一种 proof ablation,不是运行实验。它能说明每个设计为何在证明链中必要,但不能说明实际算法的平均性能增益。

8.2 超参敏感性

算法意义上的学习率、batch size、迭代次数均未报告。理论敏感参数有四个:d、η、σ、b。核心相变由两个边界支配:η≈1/d 决定 A1 是否还能利用整行鲁棒回归;η≈1/√d 决定是否存在非平凡估计。

下表是 本报告按论文公式复算,不是论文实验。第二列展示自然尺度 1/√d,第三列是 Theorem 5(b) 的显式充分阈值 √(7/d):

d 1/√d √(7/d) 0.49/d
100 0.1000 0.2646 0.004900
400 0.0500 0.1323 0.001225
1,600 0.0250 0.0661 0.000306
6,400 0.0125 0.0331 0.000077
10,000 0.0100 0.0265 0.000049

因此维度从 100 增至 10,000 时,自然临界尺度从 10% 缩到 1%,正好下降 10 倍;显式大污染充分阈值也从 26.46% 降到 2.65%。但 √7 只是定理常数,论文的“Θ(1/√d)”主张并不意味着真实系统恰在该数值处突然崩溃。

8.3 统计显著性

论文未报告标准差、置信区间、多个随机种子或显著性检验。能引用的概率只有理论保证:上界至少 0.99 成功;下界以接近 1/2 的概率迫使任意算法失败。因为上下界隐藏常数且概率口径不同,所以不能从本论文推出有限 n 下 A1/A2/A3 的显著优胜关系。

维度越高,坐标级污染的不可估计门槛越低

由论文自然尺度 1/√d 与 Theorem 5(b) 的显式充分阈值 √(7/d) 复算;纵轴为每列污染比例。

1/√d√(7/d)
不同维度下两条污染阈值曲线d 从 100 增至 10000 时,两条阈值均按平方根倒数下降。 0.000.100.200.30 1004001,6006,40010,000 维度 d每列污染比例 η
来源:核心论文 PDF p4–5 的 Theorem 5(b) 与相变讨论;坐标值为本报告按公式复算。悬停或键盘聚焦圆点可查看精确值。

9. 真正贡献、可复用设计与迁移潜力

真正贡献首先是 完整性:作者不是只证明“某个区间很难”,而是用三种已有上界与多套新下界把 (η,σ,b,d) 的大部分空间闭合到常数因子。这使“缺失标记是否有用”从一个算法直觉变成 minimax 结论。

第二个贡献是 困难来源定位。所有下界即使 y 从不遮罩仍成立(PDF p5),说明 label corruption 不是结论的驱动因素;问题来自 covariate coordinates 的选择性隐藏。这个结论对传感器融合和表格数据治理尤其重要:只检查标签质量无法消除非可识别性。

第三个贡献是 耦合工程。把最后一维当作噪声、再随机置换,是一种很漂亮的“局部牺牲—全局摊薄”模式;坐标/标签分块则表明下界构造也需要适应参数相位,而不是追求一个万能 hard instance。

可复用设计包括:

  • 先列出 trivial estimator,强制复杂算法与“什么都不学”比较;
  • 将坐标级预算转成 per-coordinate coupling disagreement,而不是只看总 TV;
  • 用上界算法的有效区间反推下界需要覆盖的 phase;
  • 把参数误差通过 L(β̂)=σ²+||β̂-β||² 转成 prediction MSE;
  • 当只有 r 个坐标可被攻击时,用 r 取代 d、用 ||β_S|| 取代 b(附录 A.4,p22)。

迁移潜力方面,论文已给出 ReLU 类 GLM 的下界推论:在 η≥√(7/d) 时 MSE 为 Ω(||β||²);在 medium-η 区间为 Ω(c²η²d||β||²)(附录 A.4,p23)。但这是下界迁移,不等于已有匹配算法。对未知协方差、非高斯重尾、稀疏 β、低秩或图结构坐标,耦合框架可能仍可用,误差尺度则会受条件数、有效维度或结构冗余影响。

10. 相关工作链:问题如何传递,设计如何变形

10.1 Liu et al. 2021:坐标级污染的语言与耦合

解决什么。 Liu et al. 为 Gaussian mean estimation 定义坐标级对手与 d_ENTRY,并在结构化 x=Az 场景用 m_A 衡量删掉多少行才使 A 的行空间降维。Theorems 4–6 表明结构冗余能把误差从最坏的维度放大压到与 αn/m_A 同阶;缺失数据可先解线性系统恢复,再做均值估计(ICML PDF p4–6)。

遗留缺口。 任务是均值而非回归;对缺失值的 recover-then-estimate 依赖已知/可利用结构,替换污染下恢复一般会变难,文中甚至讨论 NP-hard 障碍。是否“位置可见的删除”比任意替换简单,在一般情形并未闭合。

核心论文如何回应。 新论文把同一坐标耦合思想提升到 (X,y) 联合高斯和条件分布,证明在线性回归里两种模型同阶困难。

关键设计如何传递。 d_ENTRY 的“逐坐标分歧”变成 Lemma 9 的 per-coordinate disagreement coupling;但回归必须保证 y 边际一致,并处理 X|y 协方差趋近奇异,所以增加了最后一维作噪声、坐标随机化与分块耦合。

10.2 Hu & Reingold 2021:高缺失率并不等于不可学

解决什么。 该文研究极不完整数据上的鲁棒均值:每个坐标至少出现在 γN 个样本中,另有 εN 个整样本可任意污染;在 γ≥C₀ε 下,以近线性 Õ(Nd log(1/δ)) 时间给出维度无关误差。Theorem 1 的次高斯误差为 O(√((d+log(1/δ))/(γN)) + (ε/γ)√log(γ/ε))(AISTATS PDF p3)。

遗留缺口。 缺失模式在抽取数值之前确定,不能根据样本内容选择性遮挡;污染预算又按整样本计。因而算法可以通过迭代随机填补把缺失数据还原到已有鲁棒均值程序。

核心论文如何回应。 新论文允许对手先看数据再决定每列删谁,直接进入强 MNAR;此时无限样本也无法消除偏差。

关键设计如何传递。 两者都强调 per-coordinate coverage,但方向相反:Hu–Reingold 给出“缺失多仍可学”的充分条件,新论文给出“只要缺失依赖数值即可不可识别”的必要障碍,说明 missing rate 本身不是决定量,missingness timing 才是。

10.3 Diakonikolas et al. 2023:样本级鲁棒回归上界是 A1 的底座

解决什么。 在 Huber 整样本污染下,Theorem 1.4 用 n≫(d/ε²)polylog(d/ε) 样本,以 (nd+1/ε^{2+c})polylog(d/ε) 时间达到 O(σε/c) 参数误差,成功概率至少 0.9(arXiv PDF p3)。

遗留缺口。 样本级 ε 不区分一行坏一个坐标与坏全部坐标;直接用于坐标污染必须取 ε≈ηd,会丢掉 √d 甚至 d 的结构收益。

核心论文如何回应。 A1 被保留为极小 η、强信号区的最优策略,而不是被宣布淘汰;A2 在其他区域利用矩结构补位,新的下界证明这种 piecewise 组合已经量级最优。

关键设计如何传递。 2023 算法不是新论文的核心新颖性,而是上界拼图;新意在证明何时这种粗暴并集界反而不可改进。

10.4 Loh & Wainwright 2012:随机缺失下误差可随 n 消失

解决什么。 该文处理高维稀疏回归的随机缺失/噪声协变量,构造无偏校正的 Gram matrix 与 cross moment;即使目标非凸,投影梯度也几何收敛到全局最优附近(AoS PDF p1–5)。在 missing-at-random 特例中,每项独立以 1-ρ_j 被观测,Corollary 2 的误差受 1/(1-ρ_max) 和协方差条件数控制(§3.2.2,PDF p14)。

遗留缺口。 MCAR 的遮罩独立于 X,因而样本增多时校正矩可集中;无法覆盖对手按数值删项造成的不可识别性。

核心论文如何回应。 新论文将关注点从“有限样本估计与非凸优化”移到“无限样本仍不可识别”的 minimax bias,明确两种缺失机制不能靠同一 rate 统一。

关键设计如何传递。 E[yX]=β 仍是共同母题,但 MCAR 中通过 inverse-probability / Gram correction 使用;强 MNAR 中只能逐坐标鲁棒化,并付出 η√d√(b²+σ²)。

10.5 非线性技术演进树

                         ┌─ MCAR / 随机缺失
Rubin 缺失机制分类 ──────┤    └─ Loh–Wainwright 2012
                         │       无偏矩校正 + 非凸但可优化
                         │       误差随 n 增大可消失
                         │
                         └─ adversarial missingness
                              ├─ Hu–Reingold 2021
                              │   缺失模式先承诺 + 整样本 outlier
                              │   迭代填补,近线性时间
                              │
                              └─ Liu et al. 2021
                                  d_ENTRY + 结构冗余 m_A
                                  recover → estimate
                                      │
Huber 样本级污染 ── 2023 近线性鲁棒回归 ─┐
                                      ├─→ 2026 核心论文
Liu 的逐坐标耦合 ───────────────────────┘    A1/A2/A3 上界拼图
                                           conditional-Gaussian coupling
                                           最后一维作噪声 + 分块耦合
                                           missing ≍ replacement
                                           η≈1/√d 相变

演进动力不是单纯追求更强对手,而是追问哪一层假设负责可学性:缺失比例、缺失时机、坐标依赖、协方差结构,还是污染位置是否可见。关键转折是从“设计填补算法”改为“构造不可区分观测”;一旦两个真实模型能被同一缺失观测解释,工程上再精巧的 imputer 也无法解决信息缺口。

10.6 跨论文对标

工作 任务 缺失 / 污染时机 预算单位 结构假设 主结论 核心论文继承 / 改写
Loh–Wainwright 2012 稀疏回归 随机、独立 每项概率 ρ 稀疏 β、协方差条件 有限样本一致估计 保留矩方法,改成 adversarial bias
Hu–Reingold 2021 均值 缺失模式先定 覆盖 γ + 样本污染 ε 次高斯 / 有界协方差 近线性、维度无关误差 强化为 data-dependent missingness
Liu et al. 2021 均值 可坐标级对抗 每坐标或全局 entry x=Az、冗余 m_A d_ENTRY 与恢复界 直接继承耦合语言,扩展到回归条件分布
Diakonikolas et al. 2023 回归 Huber 任意污染 整样本 ε 高斯 X O(σε) 近线性算法 作为 A1,令 ε≈ηd
核心论文 2026 回归 看完数据后删 / 改 每坐标 η N(0,I) 几乎完整 minimax phase diagram missing 与 replacement 同阶

11. 论文自述限制

  1. 未知协方差。 作者明确把 X~N(0,Σ), Σ≠I 且 Σ 未知列为首要开放问题;当前 E[yX]=β 与条件高斯构造都直接使用 I(Appendix A.6,PDF p26)。
  2. 样本复杂度未最优。 当前算法使用 Õ(d/η²) 量级样本,但目标误差在部分区间随 b 很大,干净基线达到误差 u 只需 d/u²;最优 sample complexity 仍未知(Appendix A.6,p26)。
  3. GLM 与中间强度缺失机制未闭合。 ReLU 等模型只有下界推论,是否紧、是否有多项式时间匹配算法未知;完全对抗与完全随机删除之间的连续谱也没有刻画(Appendix A.6,p26)。

12. 独立批判:证据—推论链

  1. [外部有效性] 因为所有匹配结论都在 X~N(0,I) 下建立,且 A2 的核心等式在一般 Σ 下变为 E[yX]=Σβ,所以不能直接把 η≈1/√d 当成相关特征、重尾表格或深度表示的普适阈值;条件数与结构有效维度可能替代 d。
  2. [有限样本可用性] 因为主结果只给 O/Ω 且隐藏常数,A1/A2 的适用常数 0.49、0.24 也来自具体分析,所以矩阵只能说明量级最优,不能指导“η=0.3% 时应切 A1 还是 A2”的生产决策。
  3. [统计强度] 因为下界事件概率仅为接近 1/2,而上界成功率至少 0.99,所以两侧虽足以建立 minimax 量级,却没有对齐同一高概率口径;因此不能推出尾部风险已被紧刻画。
  4. [算法新颖性归因] 因为 A1 来自 2023 鲁棒回归、A2 来自逐坐标一维鲁棒均值、A3 是零向量,所以论文算法侧主要贡献是拼接与自适应选择,真正原创重量集中在下界耦合;不应把它描述成一个全新的鲁棒优化器。
  5. [可复现性] 因为没有代码、数据、运行时实测或有限样本仿真,且 Theorem 14 只给 C≪C′≪C″,所以“多项式可实现”不等于读者能复现一个数值稳定、常数可接受的系统。
  6. [模型强度] 因为对手先查看完整数据再逐列选择删除对象,这是极强 MNAR,所以结果提供的是安全上界式 worst-case envelope;不能据此断言普通传感器随机丢包与恶意替换在平均情形也同样困难。
  7. [边界闭合度] 因为 Table 1 的 medium 区间从 0.49/d 展示,而 Theorem 5(c) 实际要求 (2+c)/d,所以“整个参数空间完全闭合”略强;准确表述应是“除常数倍 1/d 的技术窄带外,几乎完整”。
  8. [目标局限] 因为论文研究参数恢复 ||β̂-β||,并假设测试时完整 X,所以它没有处理现实中训练、测试都缺失时的预测;而该问题可能要为 2^d 个 missingness patterns 建模,不能由本文结果直接解决(作者相关工作讨论,PDF p24–25)。

13. 开放挑战:可操作的 head-to-head 实验空白

13.1 理论

  • 未知 Σ 对标。 同一 (d,η,σ,b) 下比较 Σ=I、已知非对角 Σ、未知 Σ 三组;算法为 A2、whiten-then-A2、稳健 covariance+regression,报告参数误差与条件数 κ。目标是判定临界率依赖 1/√d、1/√effective-rank 还是 κ。
  • 高概率 minimax 对标。 固定目标失败率 δ∈{0.1,0.01,0.001},分别推导/验证上界与下界所需 n,避免当前 0.99 对近 1/2 的口径错位。
  • 结构稀疏性对标。 对 s-sparse β 与 r 个可攻击坐标,比较以 d、s、r 为相变尺度的上下界;使用同一 adversarial masker,检验 Appendix A.4 的 d→r 替换能否再因稀疏支持得到改进。
  • 中间强度 MNAR。 让删除概率函数 r(x) 的 Lipschitz 常数或信息预算从 0 连续增至无限,对比 MCAR、realizable contamination 和完全自适应删除,寻找一致估计变成常数偏差的确切临界点。

13.2 工程与应用

  • 有限样本三算法擂台。 在 d∈{100,1k,10k}、η 横跨 0.49/d 与 1/√d 时,等 CPU-hour 实现 A1/A2/A3/统一算法;报告 median、p95 参数误差、运行时、内存和失败率。它能检验渐近最优是否被常数反转。
  • 删除对替换同难性的经验测试。 对同一清洁表格,用最优化攻击分别生成可见 ⊥ 与隐蔽替换,约束每列同为 η;比较最优调参的 imputation+regression、A2、robust covariance 方法。若缺失长期更易,说明 minimax 等价在自然数据上过于悲观。
  • 标签不污染对标。 论文下界不需要坏 y;因此固定 y 全干净,分别攻击高杠杆 X、随机 X、梯度最大 X,验证困难是否由选择性缺失而非标签噪声驱动。
  • 真实传感器日志。 用有完整 ground truth 的多传感器数据回放真实 dropout,再加同预算 worst-case masker;比较平均缺失与安全最坏情形之间的 gap,避免把理论红线当日常平均线。

13.3 新兴方向

  • 深度表征上的局部线性化。 冻结 encoder,在最后一层线性 probe 上实施坐标攻击;对比原始 feature 维度 d 与表示 effective rank 的阈值拟合,测试相变是否更接近 1/√rank。
  • LLM 激活 / 稀疏 autoencoder。 对 SAE feature 或 MoE expert routing 逐坐标缺失,比较可见屏蔽与隐蔽 activation replacement;指标为下游任务下降和恢复误差,直接检验“缺失位置可见仍无优势”是否跨到神经内部表示。
  • 联邦异构表格。 客户端拥有不同 feature 子集时,对比先对齐/填补与 coordinate-robust moments,在相同通信预算下测 excess risk;这能把每列预算模型连接到真实的数据孤岛。

14. 近期工作雷达

以下均为已验证的 COLT 2026 / PMLR 336 正式页,作为未来追踪方向,不替代核心相关工作深读。

  1. On efficient robust regression with subquadratic samples:未知协方差、条件数 κ 与样本—时间权衡正好补核心论文首要开放问题;其近线性算法用 Õ(d/ε⁴) 样本取得 O(√(εκ)) prediction error,但仍是整样本污染。
  2. High-Dimensional Gaussian Mean Estimation under Realizable Contamination:把缺失强度放在 MCAR 与任意 MNAR 之间,并证明 SQ / low-degree 信息—计算鸿沟,是“中间强度缺失机制”的直接邻居。
  3. A Quasi-Polynomial Time Mean Estimator Under Mean-Shift Contamination with Unknown Covariance:将未知协方差与 mean-shift contamination 合并,值得与核心论文的 Σ 未知问题交叉,但其污染模型不同。
  4. Testing Noise Assumptions of Learning Algorithms:不直接设计鲁棒学习器,而是测试噪声假设是否成立;对本文强对手是否过悲观提供可部署的前置诊断思路。
  5. Statistical Learning from Attribution Sets:从候选归因集合构造无偏风险估计,代表另一类“标签链接缺失但有先验结构”的弱监督问题。
  6. Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness:用 generalized smoothness 刻画分布对手何时仍可学,为本文“随机—对抗连续谱”提供更抽象的工具语言。
  7. Is Memorization Helpful or Harmful? Prior Information Sets the Threshold:同样以 phase transition 为主线,但阈值由先验 Fisher information 与方差决定,可与本文的维度驱动阈值形成方法论对照。

15. 结论:值得带走的三句话

第一,坐标级缺失不是“先填个均值”就能化解的数据清洗问题:如果缺失位置可依赖样本值,对手能删除两个不同回归模型的分歧证据,导致无限数据下仍有常数偏差。

第二,最优算法不是一个复杂统一结构,而是 A1(整行鲁棒)、A2(逐坐标矩)和 A3(零估计)的分区拼图;论文的主要技术贡献,是证明这套看似简单的拼图在几乎全参数空间已经不可改进。

第三,最令人警醒的量是 η≈Θ(1/√d):维度越高,每列所需的恶意缺失比例越小;但这一红线严格依赖高斯各向同性和最坏情形对手,未知协方差、自然缺失与有限样本常数仍是决定它能否进入工程实践的空白。


报告脚注。 候选、随机选择、论文版本和所有外链在 2026-09-12 核验。本文无经验主表,故没有补造 benchmark、标准差、消融或 pp 提升;图表仅展示由定理阈值复算的维度缩放。ml-report-index.md 已追加本条。HTML 由 Warm Editorial Report 模板生成,并通过其结构验证器(0 error / 0 warning);环境中可调用 Playwright 包但 /usr/bin/chromium、/opt/pw-browsers 与 Playwright 预期缓存路径均无可执行浏览器,故无法诚实完成浅色、深色、移动端截图检查,也没有运行 playwright install。已以响应式表格容器、移动端媒体查询、主题变量与静态 HTML 校验作为替代,但这不等价于浏览器视觉验收。