EARL-BO 深度返工版

一句话定位：EARL-BO 不再显式计算随前瞻深度指数膨胀的 rollout acquisition，而是把当前高斯过程当作临时世界模型，用 Attention–DeepSets 压缩不断增长的观测集，再让 PPO 在这个世界模型里学习多步查询策略。

日期：2026-08-13
今日领域：强化学习 / Agent / 具身智能（周四轮转）
核心论文：Mujin Cheon, Jay H. Lee, Dong-Yeun Koh, Calvin Tsay. EARL-BO: Reinforcement Learning for Multi-Step Lookahead, High-Dimensional Bayesian Optimization. ICML 2025, PMLR 267:10182–10198.
抽样记录：候选池 24 篇；执行 shuf -i 1-24 -n 1 抽中第 10 篇；全文、正式会议页和 v2 版本均可访问，无重抽。
证据口径：正文数字来自论文 v2/ICML 版本。论文的性能主结果只以曲线给出，没有发布逐点数值表；本报告不从像素估算曲线终点，因此不会伪造“五基准×六方法”的精确矩阵，而以“论文实际报告矩阵 + 唯一精确运行时间表”替代。

返工版核心判断：EARL-BO 的贡献不是“RL 比 BO 更强”，而是把多步 BO 的计算瓶颈从在线展开一棵指数增长的 scenario tree，换成在当前 GP 后验中反复训练一个有限时域 policy。这使 30D 非短视规划第一次在本文设置中可运行，但代价是每次真实查询前仍需 14–27 分钟 CPU 规划，而且策略会放大 GP 的模型偏差；所以其适用区间是“单次真实实验远贵于规划、且 posterior 已足够可信”，而不是一般 HPO。

0.0 决策摘要：先看这张证据表

这张表也给出返工版的阅读方式：精确数字只在论文提供精确数字时报告；曲线只用于有边界的顺序判断；作者的因果解释与图上现象分开写。

0. 链接验证表

下列链接均在本次报告生成时实际访问。arXiv 当前可读版本为 2411.00171v2，2026-04-23；v1 为 2024-10-31。

0.1 候选池（24 篇）

候选池优先采用 ICML 2025、ICLR 2026 与 2025 年后高质量预印本，均不超过 24 个月。昨日已覆盖 EPG（生成模型），与本期主题不重复。

1. Sleeping Reinforcement Learning（ICML 2025）
2. Flow Q-Learning（ICML 2025）
3. Enhancing Cooperative MARL with State Modelling and Adversarial Exploration（ICML 2025）
4. Meta-RL with Adaptation from Human Feedback（ICML 2025）
5. Test-time Adapted RL with Action Entropy Regularization（ICML 2025）
6. Policy Regularization on Globally Accessible States in Cross-Dynamics RL（ICML 2025）
7. Multi-objective Linear RL with Lexicographic Rewards（ICML 2025）
8. Logarithmic Regret for Online KL-Regularized RL（ICML 2025）
9. Unveiling Markov Heads in Pretrained Language Models for Offline RL（ICML 2025）
10. EARL-BO（ICML 2025，抽中）
11. Adaptive Sample Sharing for Multi-Agent Linear Bandits（ICML 2025）
12. BiAssemble（ICML 2025）
13. Embodied Lifelong Learning Agents with Non-Parametric Memory（ICLR 2026）
14. ERA: Transforming VLMs into Embodied Agents via RL（ICLR 2026）
15. MEAL: Continual MARL Benchmark（2025）
16. Balancing Specialization and Centralization（2025）
17. Active Reward Modeling（ICML 2025）
18. Reducing Tool Hallucination via Reliability Alignment（ICML 2025）
19. SAC-GLAM（ICML 2025）
20. RL Finetunes Small Subnetworks in LLMs（ICML 2025）
21. Efficient Online RL Fine-Tuning Need Not Retain Offline Data（ICML 2025）
22. The Power of Context in Image-based RL（ICML 2025）
23. Decoupling Exploration and Exploitation in RL（ICML 2025）
24. Robust Reward Modeling via Causal Rubrics（ICML 2025）

1. 核心论文深度解析

1.1 Motivation：真正的问题不是“BO 是否能看未来”，而是“看未来的计算是否还能承受”

经典贝叶斯优化（BO）对昂贵黑盒函数建立高斯过程（GP）后，用 Expected Improvement（EI）等 acquisition function 决定下一次查询。它的优点是样本效率，缺点是每次只优化下一步收益。论文把这一缺点说得更精确：当当前一步的选择会改变后续 GP 后验时，下一步最优并不等于有限预算内最优，BO 本质上是有限时域随机动态规划。

多步 rollout 可以把当前动作之后的未来查询也纳入期望累计收益，但代价来自两层嵌套：每一个候选动作要采样可能的观测，每个观测又改变后验并触发下一步 acquisition 优化。论文引用的前驱只在约 1–4 维展示，Rollout_VR 虽可做到 6 步，却无法在本文高维实验中运行。最硬的量化证据在附录表 2：8D Ackley 上，3-step Rollout_EI 即使只用 1,000 次 Monte Carlo，仍超过 3,600 秒/BO 迭代；EARL-BO 3-step 为 840±147 秒，5-step 为 1,075±134 秒。换言之，3-step 至少节省 76.7% 时间（因为 rollout 是超时下界，真实节省只会更大），但相对 TuRBO 的 0.27 秒仍慢约 3,111 倍。

因此论文处理的是一个明确的三角矛盾：

• 非短视性需要多步规划；
• 高维性使状态、动作与 rollout 分支迅速膨胀；
• 黑盒评估昂贵，RL 又不能靠真实环境大量试错。

EARL-BO 的回答是：在每一个真实 BO 迭代内部重新训练一个策略，让策略只与当前 GP 后验构成的“虚拟世界”交互。这样真实函数仍只查询一次，RL 的大量轨迹都来自 surrogate。

1.2 论文故事线：四次关键转折

转折一：把 acquisition function 选择改写成 MDP。 状态是当前数据集 (D_t)，动作是下一查询点 (x_{t+1})，转移是加入新观测，奖励是 improvement。于是“设计 acquisition”变成“学习 policy”。

转折二：原始状态不能直接喂给 RL。 (D_t) 随迭代增长，而且集合顺序不应改变决策。论文用 Attention–DeepSets 把任意大小、任意排列的观测集合编码成固定 16 维向量。这里牺牲了逐点可逆信息，换取状态维度固定与排列不变性。

转折三：真实函数不能作为 RL 环境。 论文把当前 GP posterior 当世界模型，从 (N(^k(x),Kk(x,x))) 采样虚拟观测，生成 4,000 episodes 的训练经验。代价是策略最优性被绑定到 GP 校准程度，而非真实函数；这正是后文“planning delusion”的根源。

转折四：纯 on-policy 起步太慢。 前 400 episodes 用 TuRBO 给动作，预训练 actor/critic，然后冻结 2 层，再用 PPO 与 encoder 端到端更新。这不是从零学习 acquisition，而是“先模仿强单步基线，再超越它的短视性”。

1.3 形式化定义与机制解剖

给定观测集 (D_k={(x_i,y_i)}_{i=1}^k)，GP 后验为：

[ ^{k(x)=(x)+k(x)}(K+^2I){-1}(y-(x)), ]

[ K^{k(x,x)=K(x,x)-k(x)}(K+^2I){-1}k(x). ]

有限时域 policy 的目标（论文式 3–4）是：

[ V_h^(s_0)=E, ^*=_{}V_h^(s_0). ]

常用即时奖励为正 improvement：

[ R(D_t,x_{t+1},D_{t+1})=(0,y_{t+1}-y_t^*). ]

若把剩余步数写进价值函数，动态规划递推应为：

[ Q_h(D,x)= E_{yp(x,D)} , ]

[ V_h(D)=_{xX}Q_h(D,x),V_0=0. ]

传统 rollout/one-shot tree 试图在每次真实查询前显式近似这个 expectation 与嵌套 maximization；EARL-BO 则训练 (_(x(D))) 来摊销这个 argmax。它没有消除 Bellman 难题，而是把“每个候选点都展开未来”的计算改成“在 GP 中生成 4,000 条有限时域 episode 并做策略优化”。这一区别很关键：前者的误差主要来自 scenario tree/MC 与内部优化，后者还新增 representation error、policy optimization error 和 model exploitation。

论文的符号口径还有一个复现时必须处理的细节：方法式以 ((0,y_{t+1}-y_t^)) 表述最大化，但合成实验文字又说“目标是最小化这些函数”，simple regret 写成 (y_{opt}-y_k^)。实现必须明确是否先对目标取负、或将 improvement 改成 ((0,y_t^*-y_{t+1}))；正文与附录没有给出该转换代码。

Attention–DeepSets（论文式 6–8）先对每个点编码，再用归一化注意力做不变聚合：

[ i=(f{att}((x_i,y_i))), _{att}(D_t)=(_i_i(x_i,y_i)). ]

PPO 采用 clipped surrogate（论文式 5），critic 使用 MSE（式 10）。预训练损失（式 11）联合 PPO、value 与 entropy：

[ L_{pre}=E_{D_{baseline}}[L^{PPO}+c_1L{VF}-c_2H(_)]. ]

算法流程可压缩为：

真实数据 D_k ──拟合──> GP posterior（临时世界模型）
     │                         │
     └─> Attention–DeepSets ─> PPO actor/critic
                                 │
           前 400 episode: TuRBO 动作（off-policy warm start）
           后续 episode: PPO 动作 + GP 虚拟观测（on-policy）
                                 │
                         输出一个真实查询 x_{k+1}

更精确的训练时序

外层：真实 BO 第 k 轮
  1. 用真实观测集 D_k 重新拟合 RBF+WhiteKernel GP
  2. 初始化 encoder、actor、critic、buffer
  3. 运行最多 4,000 个虚拟 episode；每个 episode 从同一 D_k 重置
       前 400 episode：动作由 TuRBO 给出
       后 3,600 episode：动作由 PPO actor 给出
       每个 episode 内重复 H 次：
           a_t ← policy / TuRBO
           y~ ← 当前虚拟数据条件下的 GP posterior
           D_virtual ← D_virtual ∪ {(a_t, y~)}
           r_t ← improvement
       每 50 episode 更新一次网络；off-policy 后冻结 actor/critic 前 2 层
  4. 若连续 15 次更新平均 reward=0，或最终平均 reward<1e-5：返回 TuRBO 建议
     否则：最终 actor 在真实 D_k 编码上输出 x_{k+1}
  5. 只在此处查询一次真实黑盒，得到 y_{k+1}，进入下一轮

“每轮都初始化”是算法 1 的字面流程；论文没有报告跨 BO 轮是否复用网络权重。若确实完全重训，840 秒是每个真实样本都要承担的重复成本；若实现复用了权重，则伪代码缺少关键状态传递。核心代码未公开使这一点无法独立消歧。

1.4 实验设计

合成任务。 Ackley、Levy、Rosenbrock、Sum Squares；维度 2、5、8、30；统一域 ([-15,15]^d)；30 个随机初始点；每个设置 10 次重复；指标为 simple regret。Random、EI、TuRBO、SAASBO 均参与低中维比较；Rollout_VR 只在 2D 可行；30D 图为可读性移除 Random。

真实 HPO。 HPO-B search space ID 5889（6D）、5968（8D）、7200（19D）。6D/8D 使用 5 个初始点，19D 主实验使用 50 个；10 次重复；基线增加 PI。附录额外把 19D 初始点降到 5，用来检验 surrogate 稀疏时的 planning delusion。

这里有两处旧版没有充分指出的报告口径问题。第一，图 4 图例列的是 UCB、EI、PI、EARL-BO、TuRBO、SAASBO，正文却写“random search、EI、PI、TuRBO、SAASBO”，所以第一条曲线究竟是 UCB 还是 Random 需要代码澄清。第二，附录 A.2 的 synthetic baseline 列表写 EI、Random、TuRBO、Rollout-VR，却漏写主图实际出现的 SAASBO。两处都不改变图上 EARL-BO 曲线，但会影响严格复现配置。

总计可数为 16 个合成设置（4 函数×4 维度）+3 个 HPO-B search spaces+1 个稀疏压力设置。然而实验“广度”不应与“独立真实任务数”混为一谈：16 个合成设置共享四种解析函数；HPO-B 只选三个 search-space ID，论文没有列出其具体 learner/task 名、task ID 或离散候选规模。HPO-B 官方仓库说明同一 search space 下可有多个 dataset/task，EARL-BO 仅给 search-space ID，不足以唯一复现实验对象。

1.5 主结果：论文实际报告矩阵

论文没有把曲线终点、AUC 或平均排名整理成数值表，也没有提供机器可读 CSV/代码，因此以下矩阵严格保留“图 2–4 明确支持的排序性结论”，不把视觉读数伪装成精确数值。

结论—证据审计矩阵

全文最有说服力的精确证据不是性能终点，而是运行时间：

从 H=3 到 H=5，运行时间增加 235 秒 / 28.0%；相对 rollout 超时下界，H=3 至少快 4.29×。这证明它解决的是“传统多步 rollout 不可运行”，并不证明它已达到“生产级高吞吐 BO”。论文 slides 也直接承认单步约 850 秒。

若把表 2 的 10 次重复视为独立样本，可仅用于解释波动地复算近似 95% t 区间（(t_{0.975,9}=2.262)）：EI 为 0.28±0.036s，TuRBO 为 0.27±0.143s，SAASBO 为 168.6±19.7s，EARL-BO H=3 为 840±105s，H=5 为 1075±96s。论文没有做 runtime 显著性检验；这里的区间是本报告复算，不是论文原报。

成本盈亏平衡：什么时候 14 分钟规划才值得？

相对 TuRBO，EARL-BO H=3 每轮额外花约 (840-0.27=839.73) 秒，即 13.996 分钟；H=5 额外 17.912 分钟。若 EARL-BO 相比 TuRBO 能稳定节省至少一次真实评估，那么只有当一次真实评估成本大于上述门槛时，墙钟时间才可能回本。论文没有报告“达到同一 regret 所需的 evaluation 数”或 hitting time 数值，因此不能计算实际 break-even，只能得到这个必要条件。

30D 部分只报告 EARL-BO 约 1600 秒，以及 EI/TuRBO 相对 8D 增加 533%/215%。按表 2 基数复算，它们约为 1.77s 与 0.85s；即使 EARL-BO 的维度 scaling ratio 更平缓，绝对开销仍约为 EI 的 903×、TuRBO 的 1881×。因此“scales better”与“is faster”必须严格区分。

更现实的总成本应写成：

[ T_{total}(B)=_{k=1}^{B}. ]

EARL-BO 只在 (T_{realeval}T_{policy}) 时具有工程吸引力；HPO-B 的查表式 benchmark 并不满足这一前提，所以图 4 证明的是样本序列质量，不是端到端 HPO wall-clock 优势。

1.6 消融、敏感性与相变

相变现象。 本文最值得高亮的不是“horizon 越大越好”，而是非单调曲线：H=1 短期占优但终局最差；H=3/5 形成甜点区；H=7 因模型误差累积而恶化。另一个更尖锐的相变由信息密度触发：19D 从 50 个初始点降到 5 个后，多步策略优势消失。这说明有效规划深度不是固定超参，而应由 posterior calibration / uncertainty 决定。

统计显著性。 论文所有主要曲线是 10 次重复的均值 ±1 标准差；附录运行时间也给出标准差。但论文未报告置信区间、配对检验、p 值、effect size 或跨任务平均排名，因此“significantly”主要是视觉意义而非统计检验意义。

1.7 真正贡献与可复用设计

真正贡献不是简单“把 PPO 用于 BO”。较早 RL-BO 已这样做过；本文的关键是把三个接口同时接通：集合状态编码、GP 虚拟环境、强 BO 策略 warm-start。三者共同把原本只能在规则网格/低维上运行的 RL planner 推到 30D，并在每个 BO iteration 内对当前 posterior task-specific 地学习，而不要求跨任务离线元训练数据。

可单独复用的设计有三项：

1. 集合型 belief state。 任何以“不断增长的无序观测集”为状态的 agent，都可用 attention + invariant pooling，避免 padding 到固定历史长度。
2. 强启发式 warm-start + 可学习 residual policy。 先用 TuRBO 行为避免随机策略，再让 on-policy 学习长期收益，适用于昂贵环境中的 planning agent。
3. 模型可信度控制规划深度。 论文虽未实现，但 planning delusion 的证据直接指向 uncertainty-adaptive horizon：posterior 不可靠时退化为 H=1/TuRBO，可靠时升到 H=3/5。

1.8 局限性

论文自述或直接承认

1. 计算成本高。 附录 C 与 slides 明示单步约 840–1,075 秒；每个完整实验约 25 小时（AMD EPYC 7742，16 CPU、最多 100GB）。
2. planning delusion。 §4.1 指出长 horizon 会累积 GP 误差；图 A2 进一步显示 19D/5 initial points 时优势消失。
3. 长 horizon 并非单调收益。 H=3 与 H=5 接近，H=7 变差；论文承认 policy 对错误世界模型可能比启发式 rollout 更敏感。

补充批判（独立观察，10 点）

1. 实验设计问题：性能矩阵不可审计。 因为图 2–4 没有发布终点数值、AUC、hitting time 或 CSV，所以无法复算平均提升、paired test 或跨任务 rank；“显著领先”目前只能理解为曲线视觉分离，而不是统计显著。
2. 论证缺口：低维与高维竞品集合不同。 因为 Rollout_VR 只在 2D 出现，高维只比较 myopic 方法，所以“优于多步方法且可扩展”没有高维 head-to-head。表 2 的 timeout 证明一个 rollout 实现慢，不等于所有近似非短视方法都被排除。
3. 缺乏关键竞品：One-Shot Multi-Step Trees 未实验。 Jiang et al. 2020 可用联合 scenario-tree 优化与 GP fantasization 做 2–4 步非短视 BO；既然 EARL-BO 的核心主张是替代树式计算，就应在相同 H、MC/CPU budget 下直接比较，而不是只在 related work 提及。
4. 计算预算不对称。 因为 EARL-BO 每个真实查询前使用最多 4,000 episodes，H=3 为 840s，而 TuRBO 是 0.27s，所以只控制 evaluation 数会系统性偏向规划器。当单次黑盒成本低于约 14 分钟时，EARL-BO 即使少用一次 evaluation 也未必减少总时间。
5. 失手子任务：Sum Squares 结构性落后。 因为 SAASBO 在 2/5/8D Sum Squares 均优于 EARL-BO，所以“维度越高，非短视越有价值”不能脱离函数结构成立。可加、轴对齐景观中，合适的结构先验比更深规划重要。
6. 归因污染：失败时回退 TuRBO。 因为连续 15 次更新无 reward 或最终平均 reward<1e-5 时，EARL-BO 直接返回 TuRBO query，而论文未报告每个任务/seed 的 fallback 次数，所以 EARL 曲线是 learned policy 与 teacher policy 的未知混合；不能把全部收益或稳定性归因于 PPO。
7. 可复现性风险：核心代码与算法状态传递未公开。 因为 actor 分布、action bounds/squashing、网络层数、advantage/return 计算、reward normalization、GP refit、随机种子及“每轮是否从头初始化”都会显著影响结果，仅凭算法 1 和表 1 不足以复现 25 小时实验。
8. 文档内部不一致。 因为主实验明确用 H=3、8D 另测 H=5，而附录表 1 单列 Horizon=5；图 4 图例写 UCB、正文写 Random；附录 baseline 列表又漏 SAASBO，所以复现者无法仅靠论文确定统一配置。
9. 指标有效性问题：只看 simple regret。 因为真实应用还关心 cumulative regret、wall-clock regret、失败率、并行 batch 效率与约束违反，而论文只画 simple regret；3,111× TuRBO 延迟没有进入综合效用，HPO-B 查表任务也没有真实训练成本。
10. 理论与模型风险：’near-optimal’缺少可检验定义。 因为没有 oracle DP、policy value gap、approximation ratio 或 regret bound，同时世界模型只用 RBF+White GP，稀疏 19D 压力测试已显示模型误差可逆转优势，所以“near-optimal”更像动机性措辞，而非经证明性质。

2. 相关工作回溯：问题如何传递到 EARL-BO

2.1 Efficient Rollout Strategies for Bayesian Optimization — UAI 2020

解决什么。 Lee et al. 把 rollout 中昂贵的高维积分通过 quasi-Monte Carlo、common random numbers 与 control variates 降方差，并用 policy search 避免直接优化 rollout acquisition。它把“非短视 BO”从概念推向可运行实现。

遗留缺口。 即便减方差，计算仍随维度和 horizon 急剧上升。EARL-BO 表 2 中其 3-step 实现用 1,000 MC 仍超过 3,600 秒，而且无法进入 5/8/30D 的主比较。

核心回应。 EARL-BO 不再对每个候选动作显式展开未来树，而是训练一个 amortized policy，在 GP 环境里通过轨迹更新近似动态规划解。

设计传递。 “多步累计 improvement + GP 后验模拟未来”的骨架保持不变；数值积分/启发式 base policy 被 actor–critic 替换。

2.2 Efficient Nonmyopic BO via One-Shot Multi-Step Trees — NeurIPS 2020

解决什么。 Jiang et al. 把嵌套的未来 action/observation 优化重参数化成一个完整 scenario tree 上的联合优化；配合 GP fantasization 和自动微分，在不逐层反复求内层 argmax 的情况下实现一般多步 EI。它代表“仍求 acquisition，但把嵌套结构一次性摊平”的另一条路线。

遗留缺口。 分支数仍由各层 fantasy sample 数的乘积决定，优化变量和 GP 更新随 horizon 增长；NeurIPS 评审记录显示实验最高约四步，而且 branching factor、warm start、optimizer 选择会影响结果。它缓解树计算，却没有把任意大小历史压成固定状态，也没有学习可直接复用的连续策略。

核心回应。 EARL-BO 用 actor 取代每次 candidate tree 的联合优化：scenario tree 不再显式保留，未来样本只作为 PPO 训练轨迹进入 buffer。因此计算对维度/horizon 的经验 scaling 更平缓，但近似误差从数值积分转成 policy/representation/model 三重误差。

设计传递。 两者都使用 GP posterior fantasies 表达未来不确定性；one-shot 方法把所有未来 action 当一次优化变量，EARL-BO 把 action rule 参数化为 (_)。这正是本论文最应该做、却没有做的 head-to-head 对比。

2.3 TuRBO — NeurIPS 2019

解决什么。 TuRBO 用局部 trust regions 和 bandit 式全局分配避免单一全局 GP 在高维中过度探索，论文前驱报告可到 200D，并在机器人控制等任务胜过传统全局 BO。

遗留缺口。 它仍以单步 acquisition 为主，局部性增强了高维效率，却没有显式优化当前选择对后续 posterior 的长期影响。

核心回应。 EARL-BO 把 TuRBO 作为前 400 episodes 的 teacher，而不是把它当作必须抛弃的竞品；随后用 PPO 学习多步累计 reward。

设计传递。 trust-region 查询策略从“最终算法”变成“行为先验/安全回退”。这是一种强基线蒸馏式的传递。

2.4 SAASBO — UAI 2021

解决什么。 SAASBO 对逆长度尺度施加强稀疏先验，通过 HMC 找到少量相关轴对齐维度，从而在上百维搜索中保持样本效率，不需问题特定超参。

遗留缺口。 稀疏轴对齐假设不适合所有耦合复杂景观，而且 acquisition 依然短视。

核心回应。 EARL-BO 不直接选择相关子空间，而让 attention encoder 在观测级学习权重、PPO 在动作级规划；它在 30D 四函数胜出，但在可加 Sum Squares 上反而输给 SAASBO。

设计传递。 两者都将高维难点转为“只关注相关信息”，但 SAASBO 在坐标维度上做贝叶斯稀疏化，EARL-BO 在数据点集合上做注意力压缩。

2.5 Non-myopic BO using model-free RL — 2024

解决什么。 Cheon et al. 直接用 model-free RL 学多步 BO policy，并在 2D 与电化学优化展示可行性，绕过 rollout base policy 的近似偏差。

遗留缺口。 它把 GP 在规则格点上离散/栅格化作为状态；网格规模随维度指数增长，难以超过低维。

核心回应。 EARL-BO 用固定维度 Attention–DeepSets 表示 (D_t)，以连续动作 actor 输出查询点，把“RL 可非短视”推进到“RL 可高维”。

设计传递。 RL policy 与 improvement reward 被保留；状态从显式 GP 网格进化为可学习集合表示，环境从 model-free 试错转为 GP model-based simulation。

3. 技术演进脉络

2016 近似动态规划 BO [有限预算；Gauss–Hermite；低维]
   ├── 2019/2020 rollout / one-shot trees [多步；降方差或可微树]
   │          └── 缺口：树和积分随维度、horizon 膨胀
   ├── 2019 TuRBO [局部 trust region；可到百维；仍短视]
   ├── 2021 SAASBO [稀疏轴对齐子空间；仍短视]
   └── 2024 RL-BO [策略学习替代 base policy；GP 网格限制在低维]
                  ↓
2025 EARL-BO [集合状态编码 + TuRBO warm-start + GP 世界模型 + PPO 多步策略]
                  ↓
下一步：posterior-calibrated adaptive horizon + wall-clock-aware reward

内在推动力是从“每一步求一个 acquisition 最大值”转向“学习一个跨未来状态复用的决策规则”。第一阶段解决非短视定义，第二阶段分别解决高维局部性与稀疏性，第三阶段用 RL 消除显式 rollout 树。关键转折在于 GP 从单纯 surrogate 变成 RL world model；因此优化能力上升的同时，model bias 也从预测误差升级为策略误差。

3.1 可复现性蓝图：如果要真正重做这篇论文

论文没有核心代码，因此下面不是“作者实现”，而是依据算法 1、附录 A 与表 1整理的最小复现实验协议；每个无法从论文确定的字段都显式标注。

建议复现不只画原图，而应输出四个 machine-readable 表：

1. regret_by_seed.csv：task、dimension、method、seed、iteration、simple_regret；
2. runtime_breakdown.csv：GP fit、TuRBO warm-start、PPO rollout、PPO update、final action；
3. fallback_log.csv：每轮触发原因、teacher query、actor query、最终采用者；
4. calibration.csv：GP posterior coverage、NLL、horizon、最终 regret。

其中第 3 张表尤其关键：没有 fallback 日志，就无法判断 EARL-BO 是独立规划器，还是“TuRBO 安全网 + 偶尔启用 PPO”的混合算法。

4. 开放挑战与可操作研究机会

4.1 理论层面

1. 校准误差到策略 regret 的界。 固定真实 evaluation budget，在已知 GP miscalibration () 下比较 H=1/3/5/7，推导 model bias 随 horizon 的累积上界；实证应同时报告 posterior coverage 与终局 regret。
2. 自适应 horizon。 以 posterior entropy、calibration error 或 ensemble disagreement 决定 H，并与固定 H=1/3/5/7 做同 CPU、同 evaluation 数的 head-to-head；检验 19D/5 初始点是否自动退化为短视策略。
3. teacher 依赖。 在完全相同网络与随机种子下，用 EI、PI、TuRBO、SAASBO、Random 替代前 400 episodes，测最终 policy 是否只是 teacher 的局部延伸。

4.2 工程与应用层

1. wall-clock-aware objective。 将 reward 改为 improvement /（黑盒成本 + planner 成本），在单次评估成本从 1 秒到 1 天的扫描中找 EARL-BO 的盈亏平衡点；与 TuRBO 的 0.27 秒和 EARL-BO 的 840 秒直接对齐。
2. 复用而非每步重训。 比较“每个 BO step 4,000 episodes 重训”“上一轮 checkpoint 增量训练”“跨任务 meta-policy + 少量适配”，控制总梯度步，报告延迟与 regret 双指标。
3. 更强世界模型。 在同数据预算下比较 RBF GP、Matérn GP、deep kernel、heteroscedastic GP 与 ensemble；尤其在非平稳/不连续任务上检验 planning delusion 是否加剧。
4. 代码与数据协议。 发布所有曲线的逐迭代 CSV、10 个 seed、timeout 规则和机器配置；报告 mean、95% CI、paired test、AUC-regret 与 wall-clock regret。

4.3 新兴方向

1. Agent 工具选择。 把“查询黑盒点”替换成“调用昂贵工具/实验”，状态仍是无序经验集；比较 Attention–DeepSets 与 trajectory transformer，测试集合不变性是否丢失因果顺序。
2. 批量与异步 BO。 在同硬件下比较 q-EI、异步 TuRBO 与多 agent EARL-BO，显式建模并行实验返回时间；单动作 PPO 尚不能回答真实实验室并行调度。
3. 安全规划。 加入约束违反概率，比较 penalty reward、Lagrangian PPO 与 safe acquisition；报告 cumulative violations，而不只报最终最优值。

5. 其他值得关注的近期工作

Flow Q-Learning（2025.07，ICML）
用 flow-matching policy 表达离线数据中的多峰动作分布，是“生成策略 + value optimization”的高质量结合；与 EARL-BO 相比，它优化的是固定离线 MDP 而非每轮变化的 GP 世界模型。
PMLR

Sleeping Reinforcement Learning（2025.07，ICML）
把动作集合随时间可用/不可用纳入 RL；对工具型 agent、资源受限调度和动态 action space 很有参考价值。
PMLR

Enhancing Cooperative MARL with State Modelling and Adversarial Exploration（2025.07，ICML）
用状态建模与对抗式探索缓解 cooperative MARL 的部分可观测性与探索不足，代表从纯 value decomposition 向 learned state model 的延伸。
PMLR

ERA: Transforming VLMs into Embodied Agents via Reinforcement Learning（2026，ICLR）
两阶段把紧凑 VLM 训练为具身推理 agent，值得观察视觉推理能力如何通过 RL 转成闭环行动能力。
OpenReview

MEAL: A Benchmark for Continual Multi-Agent Reinforcement Learning（2025.06，预印本）
把 continual learning 引入 MARL，强调环境/队友变化下的长期适应，而不只是单一训练分布中的协作性能。
arXiv

Balancing Specialization and Centralization（2025.10，预印本）
面向顺序工业控制比较多智能体分工与集中控制，是将 MARL 架构选择落到真实控制约束的近期 benchmark。
arXiv

6. 最终判断

EARL-BO 的研究价值很明确：它把“高维”和“非短视”两条长期相对分离的 BO 路线接在了一起，并给出了一个可迁移到昂贵工具调用/实验规划 agent 的结构模板。但工程成熟度仍有限：它相对传统 rollout 至少快 4.29×，同时相对 TuRBO 慢约 3,111×；代码与主曲线数值未公开又使“性能收益是否值得计算成本”无法被独立复算。

最关键的科学发现不是 RL 一定胜过 acquisition function，而是 规划深度必须与世界模型可信度匹配：H=3/5 优于 H=1，H=7 又变差；19D 的初始点从 50 降到 5 后优势消失。下一篇真正推进该路线的工作，应当让 horizon、teacher 与算力预算随 posterior calibration 自适应，而不是继续把固定 4,000 episodes 当作默认答案。

索引状态：已读取并更新 ml-report-index.md。
坦诚说明：核心论文未公开代码及逐点性能数据，本报告没有对曲线做像素估值；无法完成精确性能百分比矩阵是源论文报告粒度造成的限制，而不是以推测数字填补。HTML 已做结构验证；当前执行环境未发现 /usr/bin/chromium 或 /opt/pw-browsers 中的可执行 Chromium，因此不能声称完成浏览器截图 QA，已改用 HTML validator 与静态溢出规则检查。