0. 链接验证表
下列网址均在 2026-10-08 实际访问。数字优先取 ICML/arXiv v3 PDF;聚合站只用于发现与交叉核对,不作为实验数字来源。
| 论文 / 资源 | 会议 / 版本 | 代码 | 数据 / 权重 | 项目页 / 视频 | 验证结果 |
|---|---|---|---|---|---|
| LRAM(核心) | ICML 2025 / PMLR;arXiv:2410.22391v3,2025-06-04;PDF | 官方仓库,MIT | README 给出 Meta‑World / DMControl 数据;**官方预训练权重未找到** | 独立项目页 / 视频 未找到 | PMLR、PDF、代码、数据入口均可达;仓库仅 3 次提交、38 stars(访问时页面) |
| Decision Transformer | NeurIPS 2021;arXiv:2106.01345v2,2021-06-24 | 官方代码 | D4RL / Atari 依外部数据;权重 未找到统一发布 | 项目视频 未找到 | 摘要、版本、代码均可达 |
| Gato / A Generalist Agent | TMLR 2022;arXiv:2205.06175v3,2022-11-11 | 官方完整训练代码 未公开 / 未找到 | 训练数据与权重 未公开 / 未找到 | 独立项目页 / 视频 未找到 | arXiv 与 TMLR 引用可达 |
| xLSTM | NeurIPS 2024;arXiv:2405.04517v2,2024-12-06 | 官方代码 | 模型配置公开;与 LRAM 对应动作权重 不适用 | 视频 未找到 | arXiv 与官方仓库可达 |
| Mamba | COLM 2024;arXiv:2312.00752v2,2024-05-31 | 官方代码 | 通用语言模型权重见仓库;动作模型权重 未找到 | 视频 未找到 | arXiv 与官方仓库可达 |
| Semantic Scholar 条目 | LRAM 条目 | — | — | — | 已验证,仅作索引 |
| Hugging Face 线索 | VLAC Daily Paper | 见论文页 | 见论文页 | 见论文页 | 已验证,用于近期工作发现 |
| ACL Anthology 线索 | Reinforcement Learning for LLM Agent Planning | 论文页未给统一入口 | 未核实 | 未找到 | 已验证,用于 Agent 分支候选发现 |
| Papers with Code | 核心论文对应页 未找到 | — | — | — | 搜索无稳定匹配,未把第三方条目写成“已公开” |
1. 候选池、排重与随机抽取
先读 ml-report-index.md。近 14 天已覆盖
BridgeVLA、PointMapPolicy 与 Among Us;此外 9 月中旬已深度覆盖
Embodied‑R1、VIKI‑R。它们分别代表 VLA
三视图动作头、结构化点云模仿、agentic
deception、几何可验证强化学习与多机器人协作,均从本轮核心候选中排除。ACL
Anthology、arXiv、ICML/PMLR、NeurIPS 页面、OpenReview、Hugging Face
Daily Papers、Semantic Scholar 与 Papers with Code
都用于发现或核验;最终候选优先保留 2025–2026
顶会主会论文,因为其正式稿、附录与表格更完整。
| # | 候选论文 | 入口 / 年份 | 方向 |
|---|---|---|---|
| 1 | Goal-Oriented Skill Abstraction for Offline Multi-Task RL | ICML 2025 | 多任务离线 RL |
| 2 | Online Pre-Training for Offline-to-Online RL | ICML 2025 | offline-to-online |
| 3 | Video-Enhanced Offline RL | ICML 2025 | 视频与模型式 RL |
| 4 | Learning to Trust Bellman Updates | ICML 2025 | 自适应保守正则 |
| 5 | Q-Supervised Contrastive Representation | ICML 2025 | 安全离线 RL |
| 6 | Unveiling Markov Heads in PLMs for Offline RL | ICML 2025 | 决策 Transformer 机制 |
| 7 | Provable Zero-Shot Generalization in Offline RL | ICML 2025 | 零样本理论 |
| 8 | Temporal Distance-aware Transition Augmentation | ICML 2025 | 模型式离线 RL |
| 9 | C2IQL | ICML 2025 | 约束条件化安全策略 |
| 10 | ELEMENTAL | ICML 2025 | VLM 辅助奖励设计 |
| 11 | A Large Recurrent Action Model | ICML 2025 | 抽中并采用 |
| 12 | Reflect-then-Plan | ICML 2025 | 贝叶斯离线规划 |
| 13 | Behavior-Regularized Diffusion Policy Optimization | ICML 2025 | 扩散策略 |
| 14 | Constrained Exploitability Descent | ICML 2025 | 离线 Markov game |
| 15 | Efficient Online RL for Diffusion Policy | ICML 2025 | 扩散策略在线优化 |
| 16 | Maximum Total Correlation RL | ICML 2025 | 表征归纳偏置 |
| 17 | Reinforcement Learning with Segment Feedback | ICML 2025 | 稀疏片段反馈 |
| 18 | MENTOR | ICML 2025 | 视觉 RL / MoE |
| 19 | Symmetric RL Loss | ICML 2025 | 稳健损失 |
| 20 | Distributionally Robust RL under Average Reward | ICML 2025 | 分布鲁棒 RL |
| 21 | Gradient Boosting RL | ICML 2025 | 树模型策略 |
| 22 | Preference Controllable RL | ICML 2025 | 多目标控制 |
| 23 | Emergent Dexterity via Diverse Resets | ICLR 2026 | sim-to-real dexterity |
| 24 | HMARL-CBF | NeurIPS 2025 | 多智能体安全控制 |
实际执行 shuf -i 1-24 -n 1,输出
11。论文在 24 个月内、属于 ICML 2025
主会、全文与代码资料充足,故
一次抽中即采用,无重抽。随机性只决定核心论文,不改变之后对数字与局限的审查标准。
2. Motivation:控制循环等不起二次复杂度
机器人控制对时延的要求不是语言生成里“更快一点”的体验问题。论文指出工业机械臂与无人机常见控制频率为 100–1000 Hz,意味着一次策略推理应低于 10 ms;1000 Hz 下,15 秒动作就形成 15,000 步历史(PDF pp.1–2)。如果模型把每个历史时刻都保存在 Transformer KV cache 中,单步计算虽借助 cache 近似随上下文线性增长,但整段 rollout 的累计代价与内存仍会迅速膨胀。论文在 A100 40GB、206M 参数、Freeway 长轨迹上测到:DT 随上下文增长延迟与显存上升,在较大上下文 / batch 下直接 OOM;xLSTM 与 Mamba 的每步递归状态大小固定,延迟基本不随上下文变化(图 6–7,PDF pp.7–8)。
第二个痛点是动作数据并不天然适配语言式 tokenization。LRAM 混合六类环境:Atari 和 Procgen 是图像观测、离散动作;Meta‑World、DMControl、Composuite、Mimicgen 是低维状态、连续动作。论文收集 432 个训练任务、37 个 hold-out 任务、3.4M 轨迹、894M transitions(表 1,PDF p.4)。若把连续状态 patchify、把动作自回归逐维生成,序列会更长、一次控制需要多次模型前向,实时性反而被输出头吞掉。
第三个痛点更反直觉:历史动作是“容易抄的标签”。Meta‑World 相邻动作 MSE 仅 0.08±0.09,DMControl 为 0.20±0.22,远低于 Composuite 的 2.10±0.30(表 7,PDF p.32)。模型看到上一步动作时,可以靠复制获得低训练损失,却在闭环中把初始错误持续放大。作者因此删掉输入序列里的 action,只保留 state、return-to-go(RTG)与 reward;这不是纯架构替换,而是同时改了条件变量。
真正的问题于是变成:能否保留 Transformer 的大规模并行训练能力,用固定大小递归状态替代不断增长的 KV cache,同时让一个共享动作头覆盖离散与连续控制? LRAM 的答案是 xLSTM,但它也把“骨干更好”“删 action 更好”“共享头更快”三个因素打包在同一系统里,后文必须拆开看。
3. 论文故事线、假设与权衡
论文的故事线可压成五步。
- 沿用 Decision Transformer 的 upside-down RL:不拟合价值函数,也不做在线策略梯度,而把离线轨迹写成条件序列预测;目标回报通过 RTG 注入。
- 跨域统一输入:图像用小型 CNN,低维状态、reward 与 RTG 用线性层;避免视觉 patch 与连续状态 tokenization 膨胀长度(§3.2,PDF p.4)。
- 删除历史 action:防止平滑动作域出现 copycat shortcut,让长上下文真正承载状态 / 回报信息。
- 共享动作头:连续动作每维离散成 256 个均匀 bin;最多 8 个连续维度与 18 个离散 action 统一用一次并行 head 输出,以交叉熵训练(§3.2,PDF p.4)。
- 并行训练、递归部署:训练时 xLSTM/Mamba 用并行模式处理 150 token 上下文;部署时只维护上一时刻 hidden state,不再重读全历史。
核心假设有三层。架构假设是递归骨干在足够大规模下不损失任务性能;数据假设是六域混合且每域等比例采样能代表 generalist action model;系统假设是 A100 上 custom kernel 的收益能迁移到真实机器人边缘设备。实验较好支持第一层,部分支持第二层,却几乎没有测试第三层。
权衡也很明确:xLSTM[1:0] 只有 mLSTM,最容易并行,主 432 任务平均更强;xLSTM[7:1] 插入 sLSTM,理论上擅长 state tracking,在 Dark‑Room 这类部分可观测任务上更好,但 sLSTM 不完全并行。Transformer 则仍保留精确 token recall 的优势。论文自己在结论中承认,不同任务应选不同骨干,而不是“递归结构普遍替代注意力”(§5,PDF p.9)。
4. 方程级形式化、流程与伪代码
离线轨迹写为
τ_i=(s_1, R̂_1, a_1, r_1, …, s_T, R̂_T, a_T, r_T),其中
R̂_t=Σ_{t'=t}^T r_{t'}。
原始 multi-game Decision Transformer 学习(论文式 1,PDF p.3):
â_t ~ π_θ(· | s_{t-C},R̂_{t-C},a_{t-C},r_{t-C}, …, s_t,R̂_t)。
LRAM 删除 action condition 后得到(论文式 2,PDF p.4):
â_t ~ π_ρ(· | s_{t-C},R̂_{t-C},r_{t-C}, …, s_{t-1},R̂_{t-1},r_{t-1},s_t,R̂_t)。
对离散动作,head 直接给 p(a_t=k|h_t);对连续第
j 维,先用 256 个 bin 量化为
b_{t,j},总损失可写为
L(ρ)=−Σ_t [ Σ_{j∈cont} log p_ρ(b_{t,j}|h_t) + Σ_{k∈disc} 1[a_t=k]log p_ρ(k|h_t) ]。
这是对论文交叉熵实现的等价展开,不额外引入未报告的损失项。递归推理的关键状态更新可抽象为
h_t=F_ρ(h_{t−1},x_t);Transformer 则保存
K_{≤t},V_{≤t}。因此 xLSTM 单步状态开销与历史长度无关,而 DT
的 cache 随 t 增长。
训练(并行):
从六个域等比例抽 batch;每域 128,梯度累积后有效 batch 768
截取 C=50 个 timestep(每步 state / RTG / reward,共 150 token)
编码图像或低维状态;不输入历史 action
xLSTM 以并行模式产生 hidden sequence
共享 head 一次性预测离散 action 或最多 8 维连续 action 的 256-bin
交叉熵反传;AdamW,200K update
部署(递归):
初始化 hidden state h0
每个控制周期:
输入当前 state、更新后的 RTG 与上一步 reward
h_t ← recurrent_xLSTM(h_{t−1}, token_t)
logits ← shared_action_head(h_t)
离散任务取 action;连续任务逐维反量化 256-bin
执行动作,并保留 h_t;不重放整段上下文
5. 关键机制与工程细节
| 组件 | 论文配置 | 设计作用 | 工程风险 / 未闭合点 | 来源 |
|---|---|---|---|---|
| 数据混合 | 6 域、432 训练任务、37 hold-out、894M transitions | 骨干跨域对照 | 每域等权而非按 token / 任务 / 真实频率;域间干扰未做矩阵 | 表 1;附录 C.1 |
| 模态编码 | 图像 CNN;低维 state / RTG / reward 线性层 | 缩短序列 | 没有语言指令、视觉语义或真实传感器噪声 | §3.2 |
| 条件序列 | (state, RTG, reward),删除 action |
避免 copycat | 与标准 DT 条件不同,骨干归因被混合 | 式 2;附录 E.1 |
| 连续动作 | 每维 256 bins,最多 8 维 | 统一交叉熵 | 量化误差与高维动作扩展未系统测量 | §3.2,PDF p.4 |
| Shared head | 离散 / 连续维并行输出 | 避免逐维自回归时延 | head 参数、动作 masking 与异构任务隔离细节有限 | §3.2 |
| xLSTM 配比 | [1:0] 纯 mLSTM;[7:1] 混 sLSTM |
兼顾并行记忆与 state tracking | 主任务多为 fully observable,sLSTM 的价值只在 Dark‑Room 明显 | §4.3;附录 E.3 |
| 规模 | 16M / 48M / 110M / 206M;另有 408M 单次 | 检查 scaling | 408M 仅单次,不能讨论稳定 scaling law | 图 2、图 13 |
| 训练 | 200K updates;AdamW;LR 1e−4→1e−6;warmup 4K;clip 0.25 | 同协议公平比较 | 4×A100,5–30 小时;能耗未报 | 表 5;附录 C.4 |
| 推理 | A100 40GB;custom xLSTM kernel;DT 用 KV cache + FlashAttention | 长上下文低延迟 | 未测 Jetson / CPU / TPU / 真机控制器;Mamba 无
torch.compile |
§4.4 |
| 统计 | 主实验 3 seeds,评估均值与 95% CI;每任务另 3 evaluation seeds | 比单次更可靠 | 多个关键消融明确只有 1 seed | 附录 C.1、E.1、E.3 |
一个需要特别指出的复现冲突:附录 C.1 文字说“我们不使用 Dropout”,附录
E.4 也说删除默认 0.1 Dropout;但表 5 却列
Dropout=0.2(arXiv HTML 行 540–560,PDF
p.21)。这不是表述偏好,而是会改变连续控制性能的关键超参,报告必须把它标成未消解冲突。
6. 数据集、基准与指标
| 域 | 训练任务 | 轨迹 | 平均长度 | transitions | 观测 / 动作 | 主指标 |
|---|---|---|---|---|---|---|
| Atari | 41 | 136K | 2733 | 205M | 图像 / 18 离散动作 | human-normalized score;附录给 raw reward |
| Composuite | 240 | 480K | 500 | 240M | 93 维 state / 8 维连续动作 | data-normalized score;raw reward |
| DMControl | 11 | 110K | 1000 | 110M | 3–24 维 state / 1–6 维动作 | data-normalized score;raw reward |
| Meta‑World | 45 | 450K | 200 | 90M | state / 连续动作 | data-normalized score;raw reward |
| Mimicgen | 83 | 83K | 300 | 25M | state / 连续动作 | success / data-normalized score |
| Procgen | 12 | 2.185M | 144 | 224M | 64×64 灰度图 / 15 离散动作 | data-normalized score;raw reward |
表 1 的 “Repetitions” 显示训练时数据暴露并不均匀:Mimicgen 8.5×,Meta‑World 2.34×,Composuite 0.87×。这是因为每个更新让六域大致等权,数据量小的域会被反复使用。因而“894M transitions”不能直接理解为每个样本只看一遍;尤其 Mimicgen 的过采样可能提高拟合,也可能放大小数据偏差。
论文主图把不同域先正规化再等权平均,适合比较整体趋势,却会掩盖 raw scale 与任务难度。下面主矩阵因此同时保留各域原始平均,不做跨行求和;不同域数值单位不可互换。
7. 主结果数据矩阵:四方法,不伪造六方法
论文在统一 206M 设置只比较 DT、Mamba、xLSTM[1:0]、xLSTM[7:1] 四种骨干,没有六方法矩阵。下表给出能从附录原始表逐项核验的 6 行×4 方法;不补造不存在的基线。加粗为该行最优。
| 基准 / 指标(越高越好) | DT | Mamba | xLSTM [1:0] | xLSTM [7:1] | 最佳 xLSTM 对 DT |
|---|---|---|---|---|---|
| Procgen 12 任务 Avg. Reward | 8.32 | 7.55 | 8.73 | 8.76 | +0.44;+5.29% |
| Atari 41 游戏 Avg. Reward | 5556.81 | 6281.27 | 6705.61 | 6383.35 | +1148.80;+20.67% |
| Meta‑World 45 任务 Avg. Reward | 1486.05 | 1486.18 | 1455.15 | 1464.16 | −21.89;−1.47% |
| DMControl 11 任务 Avg. Reward | 364.52 | 496.65 | 505.06 | 522.55 | +158.03;+43.35% |
| Mimicgen / Panda Stack D0 success | 0.47±0.12 | 0.20±0.00 | 0.67±0.31 | 0.73±0.12 | +0.26;+55.32% |
| Mimicgen / UR5e Stack D0 success | 0.40±0.20 | 0.30±0.14 | 0.87±0.12 | 0.67±0.12 | +0.47;+117.50% |
来源:论文附录表 8(PDF p.37)、表 9(p.38)、表 10(p.39)、表 11(p.40)、表 12(p.41)。Meta‑World 行明确显示“递归骨干全面赢”不成立:DT 的 1486.05 比 xLSTM[7:1] 高 21.89。Atari 与 DMControl 则支持架构收益,但不同 xLSTM 配比互有胜负:Atari 纯 mLSTM 最优,DMControl 混合 sLSTM 最优。
7.1 单任务方差不是装饰
DMControl 的 finger-turn-easy 从 DT
121.27±104.60 提到 xLSTM[7:1]
640.13±82.48,但 walker-run 从 DT
155.91±73.84 降到 xLSTM[7:1] 145.01±31.71;reacher-easy
更是 Mamba 180.70±133.64 最高,xLSTM[7:1] 仅
58.00±13.91(表 11)。因此平均 +43.35%
由若干大幅任务收益推动,不代表每个控制动力学都更适合 xLSTM。
7.2 效率结果:结论强,精确速度比弱
图 6 在 A100 上以 206M 模型比较 C=50…25600
timestep(每步 3 token),batch 为 1 或 16。xLSTM 的延迟曲线基本平坦,DT
随上下文增加并在长上下文 OOM;图 7 的 C=1600 throughput
也显示 DT 在 batch>64 OOM,而递归骨干可跑到
128。论文图没有在正文表格给出所有柱子的精确数字,因此本报告不从像素强行伪造“X×
speedup”。能严格推出的是:在该 A100/Freeway/custom-kernel
设置中,xLSTM 的可用上下文与 batch
上限更高,且长上下文延迟更低;不能推出任意边缘硬件上的固定倍数。
8. 逐层消融、超参敏感性与相变
8.1 删除 action:最大的建模改动
全 432 任务、206M DT 的单 seed 消融显示:带历史 action 时,context 从
1 增到 50,平均 normalized score 仍约 0.3;删除 action
后,从约 0.3 升到 0.7(图 24,PDF
p.30)。对 xLSTM[1:0],同样从 C=1 约 0.4
升到 C=50 约 0.8(图 26,PDF
p.31)。相变不是“更长永远更好”,而是 只有先移除可复制的 action
shortcut,长上下文才变成有效信息。
但这项消融只有一个 seed,作者也明确承认计算原因(附录 E.1.2)。所以 0.3→0.7 与 0.4→0.8 可视为强趋势,不宜当成有置信区间的精确效应量。
8.2 mLSTM / sLSTM 比例:任务性质决定最优点
在主 432 任务的 16M 消融中,纯 mLSTM [1:0] 平均优于含
sLSTM 变体;作者解释这些环境多数 fully observable,不强依赖 state
tracking。到 Dark‑Room 10×10 的 80 训练 / 20 hold-out 目标上,低层插入
sLSTM 的 [7:1]@1 与 [3:1]@1,3 又优于纯
mLSTM;深层放 sLSTM 或全 sLSTM 表现差(图 30–31,PDF p.36)。这意味着
sLSTM
不是越多越好,位置与部分可观测性共同触发收益。
8.3 RTG 与行为克隆
206M 消融去掉 RTG,或进一步去掉 reward 后,四种骨干的相对趋势仍近似保持(图 28–29,PDF pp.32–33),说明“递归骨干优于 DT 的趋势”不完全依赖 return-conditioning。但论文明确说最终性能低于带 RTG 的模型;因此 BC 迁移只支持排序稳定,不支持绝对能力不损失。
8.4 kernel、head 数与层数
xLSTM 每个 timestep 有 3 token;普通 recurrent 实现要做 3 次 forward,chunkwise kernel 只需一次。图 21 显示 batch=1 时,甚至无 kernel 的 chunkwise 也快于有 kernel 的逐 token recurrent;batch 增大后 kernel 优势反转(附录 D.5.3,PDF p.30)。图 22 进一步显示固定 hidden dimension 时,把 head 从 4 增到 32、降低每头维度,throughput 继续增长,因为高 head dimension FLOPs 更高(PDF p.28)。把 xLSTM 层数减半并放大 hidden 以匹配 DT 参数时,性能略降但仍高于 DT(图 33,PDF p.35)。这些结果说明速度是 架构 × kernel × head geometry 的联合产物。
8.5 Dropout 冲突
作者称 DT 默认 0.1 Dropout 会显著伤害 Composuite,故主实验删除 Dropout(附录 E.4);但超参表 5 写的是 Dropout 0.2。仓库命令行也没有在 README 清楚覆盖这一项。因为连续控制对 Dropout 非常敏感,所以在冲突消解前,DT 基线是否被最优调参无法完全确认。
9. 统计显著性:哪些有,哪些没有
主实验按附录 C.1 报告 3 个训练 seed 的均值与 95%
置信区间,每个任务另平均 3 个 evaluation seed;这比许多单 seed
大模型动作论文更扎实。表 10–12 的大量 mean±
也让任务级波动可见。
然而统计并不覆盖所有关键主张:408M scaling 只有 1 次 run;全任务 context-length 消融只有 1 seed/长度;mLSTM:sLSTM 配比也只有 1 seed/ratio;延迟 / throughput 图只说跨 5 个 episode 平均、丢弃首 episode,未给标准差、P95/P99 或多机器重复。论文也未对六域多重比较做显著性校正。因此能说“主 16M–206M 性能趋势具有三种子支持”,不能说“所有超参相变与系统优势都统计显著”。
10. 真正贡献、可复用设计与迁移潜力
真正贡献一:把“动作基础模型”从注意力默认选项变成可检验的骨干选择。 论文不是只在一个 MuJoCo 表上替换 RNN,而是在 432 任务、六域、四模型规模上保持训练协议,证明 xLSTM/Mamba 在大动作模型里至少是有竞争力的。
真正贡献二:识别 action-copy shortcut。 删除 action 的做法看似违背 Decision Transformer,但表 7 的相邻动作 MSE 与 context 消融形成了较完整因果链:动作越平滑,越容易复制;复制降低训练损失,却损害闭环纠错;删除 action 后,长上下文才真正增益。这一设计可迁移到 diffusion policy、VLA action chunking 与任何低 jerk 控制数据。
真正贡献三:把系统细节当成模型的一部分。 共享并行动作头、固定递归状态、chunkwise kernel、head dimension 都直接决定控制频率。可复用原则是:评估控制模型不能只报任务成功率,必须同时报告 context、batch、状态缓存、输出头次数与整环境 step latency。
迁移上,LRAM 最适合三类场景:长轨迹部分可观测控制(用低层 sLSTM)、大量并行仿真环境的在线微调(利用 throughput)、以及边缘设备上需要固定内存的策略。但把它迁到开放词汇 VLA 时,还要处理语言 token、视觉 patch、跨模态注意力和动作 chunk;当前论文的“小 CNN + 低维 state”并不能直接证明 VLA 级别仍成立。
11. 相关工作:问题来源—遗留缺口—回应—设计传递
11.1 Decision Transformer:把 RL 变成序列建模
解决什么:DT 用 desired return、state、action
的因果序列直接预测下一动作,不显式拟合 Q 或做策略梯度;arXiv 摘要报告在
Atari、Gym、Key‑to‑Door 匹配或超过当时模型无关离线 RL。
遗留缺口:Transformer 在长控制历史上维护增长的 KV
cache;标准条件还容易在平滑动作域学习 copycat。
LRAM 如何回应:保留 RTG 条件与 next-action
objective,换成递归状态,并删除历史 action。
关键设计如何传递:DT 传递了“轨迹即语言”的接口,LRAM
改写了骨干和 token 条件,却没有推翻序列 RL 范式。
11.2 Gato:统一任务、模态与动作词表
解决什么:Gato 用同一组权重处理
Atari、文本、图像描述与真实机械臂,证明单个 Transformer 可跨 600+
任务。
遗留缺口:统一 tokenization
与自回归动作让序列和推理路径变长;训练数据与权重不完全公开。
LRAM 如何回应:以六域 432
任务重建可公开的多任务对照,并避免视觉 patchify、连续状态 tokenization
与逐维自回归动作。
关键设计如何传递:Gato 的 shared action vocabulary 传到
LRAM,具体实现变为 256-bin 并行共享 head。
11.3 Mamba:选择性状态空间与硬件感知递归
解决什么:Mamba 让 SSM
参数依赖输入,并以硬件感知扫描兼顾并行训练与线性序列复杂度。
遗留缺口:选择性 SSM 在 action domain
的性能与实时闭环尚未系统比较;本论文中 Mamba kernel 与
torch.compile 不兼容,batch=1 甚至慢于 DT。
LRAM 如何回应:把
Mamba作为强递归基线,并在同任务、同规模、同 A100 环境比较。
关键设计如何传递:并行训练 /
递归部署模式与固定状态复杂度直接进入 LRAM 评测协议。
11.4 xLSTM:指数门控、矩阵记忆与状态追踪
解决什么:xLSTM 引入指数门控;mLSTM 用矩阵
memory、可完全并行,sLSTM 保留非对角递归矩阵以支持 state
tracking。
遗留缺口:原论文主战场是语言建模,未证明具身序列的动作质量、实时性和跨域
scaling。
LRAM 如何回应:把 [1:0] 与
[7:1] 两种结构用于 432 任务,并用 Dark‑Room 验证 sLSTM
在部分可观测场景的条件性价值。
关键设计如何传递:mLSTM 提供大规模吞吐,sLSTM
作为稀疏插入的状态追踪层;低层放置优于深层堆叠。
11.5 非线性技术演进树
在线 RL 专家轨迹 ───────────────┐
├─> 离线轨迹数据(894M transitions)
Decision Transformer ── RTG 条件 ┘ │
│ ├─ 删除 action → 抑制 copycat
└─ Transformer / KV cache ── 长序列瓶颈 ──┤
├─ 256-bin + shared action head
Mamba ─ 选择性 SSM ─ 固定状态 ────────────────┐ │
├──> LRAM
xLSTM ─ 指数门控 ─┬─ mLSTM:并行矩阵记忆 ────┘ │
└─ sLSTM:状态追踪 ─ Dark-Room ─┘
LRAM ──> 长上下文 / 高并行吞吐
├──> 仍缺:真实机器人、边缘硬件、在线 RL
└──> 仍缺:语言条件 VLA、动作 chunk 与安全约束
11.6 跨论文对标
| 工作 | 核心序列骨干 | 训练范式 | 跨任务 | 推理状态 | 实时 / 真机证据 | LRAM 接收或修正 |
|---|---|---|---|---|---|---|
| Decision Transformer | Transformer | 离线 BC + RTG | 小规模 | KV cache 随历史增长 | 非重点 | 接收 RTG,删 action、换递归骨干 |
| Gato | Transformer | 多模态 BC | 600+ 任务 | KV cache | 有真实臂任务,但系统时延非主线 | 接收统一动作接口,改为并行 head |
| Mamba | Selective SSM | 通用序列建模 | 非动作专用 | 固定递归状态 | LRAM 内 A100 对照 | 作为效率基线;暴露 kernel 兼容问题 |
| xLSTM | mLSTM + sLSTM | 通用序列建模 | 非动作专用 | 固定递归状态 | 原作无机器人 | 直接成为 LRAM 核心骨干 |
| LRAM | xLSTM / Mamba | 894M transition 离线 BC/RTG | 432 训练 + 37 hold-out | 固定 hidden state | A100 仿真;无真机 | — |
12. 论文自述限制(带位置)
- 没有真实机器人实验:作者明确说主要目标是 robotics,但多数实验只在机器人模拟器,尚无真机证据(§5 “Limitations & Future Work”,PDF p.9)。
- 微调只做离线 RL:作者希望未来用在线 RL 探索训练数据外策略,但当前 fine-tuning 仅离线(同节,PDF p.9)。
- ICL 只在 Dark‑Room 网格世界:提高的 in-context learning 只在 10×10 grid-world 验证,复杂环境未测(同节,PDF p.9)。
13. 独立批判:因为 X,所以 Y
- [因果归因] 因为 LRAM 同时替换骨干、删除历史 action、取消 timestep encoding、使用共享并行动作头,所以性能与速度提升不能全部归因于 xLSTM;应在同一 Transformer 上逐项加入这些改动,做完整 factorial ablation。
- [外部有效性] 因为全部 432 训练任务和 37 hold-out 都来自模拟 / 游戏,且作者自述没有真实机器人,所以“适合实时机器人”的结论目前是系统复杂度外推,而不是部署证据;传感器 jitter、通信延迟、控制器 safety stop 都未进入测量。
- [硬件公平性] 因为 xLSTM 使用 custom kernel 与
torch.compile,Mamba kernel 却与torch.compile不兼容,推理只在 A100 40GB 测试,所以图 6–7 衡量的是“当前实现栈”而非纯架构下界;需要至少 A100、RTX、Jetson、CPU 四平台 head-to-head。 - [指标聚合] 因为六域先各自正规化再等权,且训练也让每域近似等比例,Mimicgen 数据被重复约 8.5×、Composuite 仅 0.87×,所以整体平均会隐藏样本效率与任务数量差异;应同时报告 micro-average、macro-average、每 transition 收益与每域 Pareto。
- [性能边界] 因为 206M raw 表中 Meta‑World 的 DT 1486.05 高于 xLSTM[7:1] 1464.16(−1.47%),而多个 DMControl 单任务也由 Mamba或DT胜出,所以“recurrence 更适合 action model”只能表述为平均趋势,不能写成支配关系。
- [统计覆盖] 因为主实验虽有 3 seeds 与 95% CI,但 context-length、mLSTM:sLSTM ratio、408M scaling 均只有 1 seed,所以论文最有机制意味的“相变”并无稳定性证据;至少需要 5 seeds、bootstrap across tasks 与多重比较校正。
- [复现一致性] 因为附录文字说不使用 Dropout,表 5 却写 0.2,而 E.4 又说默认 0.1 会显著伤害连续控制,所以 DT 基线调参状态不清;这个冲突足以影响“骨干胜负”,应由 config commit 与最终 checkpoint 元数据消解。
- [安全性] 因为策略以 next-action prediction 模仿离线数据,没有约束层、OOD detector 或 uncertainty abstention,而论文 Impact Statement 又警告未知场景可能“hallucinate”动作,所以固定状态递归带来的低时延也可能更快执行错误;真机前必须加入 action shield 与回退控制器。
14. 开放挑战:可操作的 head-to-head 实验空白
14.1 理论
- 记忆容量 vs. 可控误差:在可调 POMDP memory length
L∈{16,64,256,1024}上,固定参数比较 DT、Mamba、mLSTM、低层 sLSTM;同时测 policy regret、隐藏状态线性 probe 与遗忘曲线。若 xLSTM 只在 probe 好但控制差,state tracking 解释即不闭环。 - action-copy 相变:合成控制器把相邻动作相关系数从 0 到 0.99 连续扫描,比较有/无 action condition;预注册 copycat 临界点与闭环误差增长率,验证表 7 的 MSE 是否真是充分解释变量。
- 多任务干扰定律:固定总 token,改变六域混合权重与任务数;比较 macro return、梯度夹角和 representation overlap,寻找“等域采样”何时优于按数据量采样。
14.2 工程与应用
- 边缘硬件真实时延:同一 206M checkpoint、同一动作头,在 A100、RTX 4090、Jetson AGX Orin、桌面 CPU 上报告 median/P95/P99、功耗、峰值内存和 100/500/1000Hz deadline miss rate;不能只报平均每步。
- 真机闭环:在 Franka / UR5 的插接、开门、动态避障任务上,用相同演示训练 DT 与 LRAM;至少 20 seeds×50 episodes,加入 network jitter 与视觉遮挡,比较成功率、安全中止、累计 jerk 与恢复时间。
- 公平系统栈:为 DT、Mamba、xLSTM 分别提供 best available kernel 与统一 compilation policy,再做 kernel-off / kernel-on 两层对照;把“架构收益”与“软件成熟度收益”分离。
- VLA 迁移:在同一视觉编码器和语言模型上,只替换 action backbone;比较 BridgeVLA/π0 类 flow head 与 256-bin shared head,测指令泛化、动作精度、TTFT 与 action-chunk latency。
14.3 新兴方向
- 在线 RL 后训练:从同一离线 checkpoint 出发,在 1024 并行环境中对 DT、Mamba、LRAM 做等 interaction budget 的 PPO / SAC 微调;同时测 throughput 与策略崩塌,验证递归吞吐是否真正转化为样本效率。
- 不确定性与安全回退:为四种骨干增加 ensemble 或 conformal action set;OOD 时触发 MPC / impedance controller,比较风险调整回报与误拒率。
- 长期 agent memory:把 LRAM 的固定状态用于工具调用或软件 agent,和显式检索 memory head-to-head;测 10k–100k step 的任务完成、可审计性与错误恢复,而非只看 token-level loss。
15. 近期工作雷达(经验证链接)
- Emergent Dexterity via Diverse Resets and Large-Scale RL(ICLR 2026):用 reset 分布替代大量任务工程,适合检验 LRAM 的在线 RL 吞吐能否转化为长时灵巧操作;但与 LRAM 一样需要把模拟收益落到真机安全。
- Raw2Drive(NeurIPS 2025 session):用 privileged / raw 双 world model 缓解端到端驾驶的因果混淆;可与 LRAM 比较“固定递归状态”是否足以承载世界模型滚动。
- HMARL-CBF(NeurIPS 2025):把多智能体高层技能与低层控制障碍函数结合,提供 LRAM 当前缺少的形式安全层;开放问题是大模型策略与 CBF 的接口延迟。
- GO-Skill(ICML 2025):离散技能库服务离线多任务迁移;与 LRAM 的共享动作头形成“高层离散技能 vs. 低层统一动作”的互补对照。
- Online Pre-Training for Offline-to-Online RL(ICML 2025):用新的 value function 过渡到在线 fine-tuning;正好补 LRAM 只做离线微调的缺口。
- ELEMENTAL(ICML 2025):用示范与 VLM 交互设计奖励;若接到 LRAM,可测试语言奖励生成是否抵消纯 RTG 条件的任务语义贫乏。
- A Vision-Language-Action-Critic Model(Hugging Face Daily Paper):以 VLA critic 为真机 RL 提供稠密进度奖励;它把“快速 action backbone”推进到“可学习 reward + action”的闭环,但 learned critic 的 reward hacking 仍需独立审计。
- MUA-RL(arXiv:2508.18669):把模拟用户纳入多轮工具调用 RL;它与机器人 LRAM 的共同问题是长序列信用分配,但 tool agent 更需要可审计外部记忆而非不可解释 hidden state。
16. 最终判断
LRAM 值得看,不是因为它宣布“RNN 回归”,而是因为它把 骨干、条件序列、动作头和 kernel 放进同一个机器人时延问题里。最强的数字是 DMControl 206M 平均回报从 DT 364.52 提到 xLSTM[7:1] 522.55(+158.03,+43.35%),同时长上下文不再扩张 KV cache;最关键的反证是 Meta‑World 反而 −1.47%,且真机、边缘芯片与在线 RL 都没有验证。
因此可复用结论应写成:对长历史、并行环境与固定内存部署,现代递归骨干是强候选;对每个任务域,是否值得换骨干必须与 action conditioning、kernel、可观测性和硬件一起做 head-to-head。 若只把 xLSTM 当成 Transformer 的等参数替代而忽略删 action 与共享 head,复现很可能得不到论文叙事中的收益。
证据与复现脚注
- 核心数字只来自 ICML/PMLR、arXiv v3 PDF/HTML 与官方仓库;聚合站不作为数值来源。
- HTML 轻 / 深主题与移动端规则已做静态检查;运行环境未发现
/usr/bin/chromium或/opt/pw-browsers浏览器二进制,因此无法完成用户指定的本机 Playwright 三视口实浏览截图。报告未运行playwright install,并保留横向滚动表格、响应式间距和高对比色作为降级措施。 ml-report-index.md已追加本条报告索引。