ICML 2025 · Reinforcement Learning / Embodied AI

LRAM:用 xLSTM 重做大动作模型

速度赢了,真实机器人证据仍缺席

ICML 2025 Main2026-10-08432 tasks · 894M transitions

现代递归骨干在长历史与并行控制上很有吸引力,但收益取决于 action conditioning、kernel 与任务可观测性;它不是对 Transformer 的无条件替代。

0. 链接验证表

下列网址均在 2026-10-08 实际访问。数字优先取 ICML/arXiv v3 PDF;聚合站只用于发现与交叉核对,不作为实验数字来源。

论文 / 资源 会议 / 版本 代码 数据 / 权重 项目页 / 视频 验证结果
LRAM(核心) ICML 2025 / PMLR;arXiv:2410.22391v3,2025-06-04;PDF 官方仓库,MIT README 给出 Meta‑World / DMControl 数据;**官方预训练权重未找到** 独立项目页 / 视频 未找到 PMLR、PDF、代码、数据入口均可达;仓库仅 3 次提交、38 stars(访问时页面)
Decision Transformer NeurIPS 2021;arXiv:2106.01345v2,2021-06-24 官方代码 D4RL / Atari 依外部数据;权重 未找到统一发布 项目视频 未找到 摘要、版本、代码均可达
Gato / A Generalist Agent TMLR 2022;arXiv:2205.06175v3,2022-11-11 官方完整训练代码 未公开 / 未找到 训练数据与权重 未公开 / 未找到 独立项目页 / 视频 未找到 arXiv 与 TMLR 引用可达
xLSTM NeurIPS 2024;arXiv:2405.04517v2,2024-12-06 官方代码 模型配置公开;与 LRAM 对应动作权重 不适用 视频 未找到 arXiv 与官方仓库可达
Mamba COLM 2024;arXiv:2312.00752v2,2024-05-31 官方代码 通用语言模型权重见仓库;动作模型权重 未找到 视频 未找到 arXiv 与官方仓库可达
Semantic Scholar 条目 LRAM 条目 — — — 已验证,仅作索引
Hugging Face 线索 VLAC Daily Paper 见论文页 见论文页 见论文页 已验证,用于近期工作发现
ACL Anthology 线索 Reinforcement Learning for LLM Agent Planning 论文页未给统一入口 未核实 未找到 已验证,用于 Agent 分支候选发现
Papers with Code 核心论文对应页 未找到 — — — 搜索无稳定匹配,未把第三方条目写成“已公开”

1. 候选池、排重与随机抽取

先读 ml-report-index.md。近 14 天已覆盖 BridgeVLA、PointMapPolicy 与 Among Us;此外 9 月中旬已深度覆盖 Embodied‑R1、VIKI‑R。它们分别代表 VLA 三视图动作头、结构化点云模仿、agentic deception、几何可验证强化学习与多机器人协作,均从本轮核心候选中排除。ACL Anthology、arXiv、ICML/PMLR、NeurIPS 页面、OpenReview、Hugging Face Daily Papers、Semantic Scholar 与 Papers with Code 都用于发现或核验;最终候选优先保留 2025–2026 顶会主会论文,因为其正式稿、附录与表格更完整。

# 候选论文 入口 / 年份 方向
1 Goal-Oriented Skill Abstraction for Offline Multi-Task RL ICML 2025 多任务离线 RL
2 Online Pre-Training for Offline-to-Online RL ICML 2025 offline-to-online
3 Video-Enhanced Offline RL ICML 2025 视频与模型式 RL
4 Learning to Trust Bellman Updates ICML 2025 自适应保守正则
5 Q-Supervised Contrastive Representation ICML 2025 安全离线 RL
6 Unveiling Markov Heads in PLMs for Offline RL ICML 2025 决策 Transformer 机制
7 Provable Zero-Shot Generalization in Offline RL ICML 2025 零样本理论
8 Temporal Distance-aware Transition Augmentation ICML 2025 模型式离线 RL
9 C2IQL ICML 2025 约束条件化安全策略
10 ELEMENTAL ICML 2025 VLM 辅助奖励设计
11 A Large Recurrent Action Model ICML 2025 抽中并采用
12 Reflect-then-Plan ICML 2025 贝叶斯离线规划
13 Behavior-Regularized Diffusion Policy Optimization ICML 2025 扩散策略
14 Constrained Exploitability Descent ICML 2025 离线 Markov game
15 Efficient Online RL for Diffusion Policy ICML 2025 扩散策略在线优化
16 Maximum Total Correlation RL ICML 2025 表征归纳偏置
17 Reinforcement Learning with Segment Feedback ICML 2025 稀疏片段反馈
18 MENTOR ICML 2025 视觉 RL / MoE
19 Symmetric RL Loss ICML 2025 稳健损失
20 Distributionally Robust RL under Average Reward ICML 2025 分布鲁棒 RL
21 Gradient Boosting RL ICML 2025 树模型策略
22 Preference Controllable RL ICML 2025 多目标控制
23 Emergent Dexterity via Diverse Resets ICLR 2026 sim-to-real dexterity
24 HMARL-CBF NeurIPS 2025 多智能体安全控制

实际执行 shuf -i 1-24 -n 1,输出 11。论文在 24 个月内、属于 ICML 2025 主会、全文与代码资料充足,故 一次抽中即采用,无重抽。随机性只决定核心论文,不改变之后对数字与局限的审查标准。

2. Motivation:控制循环等不起二次复杂度

机器人控制对时延的要求不是语言生成里“更快一点”的体验问题。论文指出工业机械臂与无人机常见控制频率为 100–1000 Hz,意味着一次策略推理应低于 10 ms;1000 Hz 下,15 秒动作就形成 15,000 步历史(PDF pp.1–2)。如果模型把每个历史时刻都保存在 Transformer KV cache 中,单步计算虽借助 cache 近似随上下文线性增长,但整段 rollout 的累计代价与内存仍会迅速膨胀。论文在 A100 40GB、206M 参数、Freeway 长轨迹上测到:DT 随上下文增长延迟与显存上升,在较大上下文 / batch 下直接 OOM;xLSTM 与 Mamba 的每步递归状态大小固定,延迟基本不随上下文变化(图 6–7,PDF pp.7–8)。

第二个痛点是动作数据并不天然适配语言式 tokenization。LRAM 混合六类环境:Atari 和 Procgen 是图像观测、离散动作;Meta‑World、DMControl、Composuite、Mimicgen 是低维状态、连续动作。论文收集 432 个训练任务、37 个 hold-out 任务、3.4M 轨迹、894M transitions(表 1,PDF p.4)。若把连续状态 patchify、把动作自回归逐维生成,序列会更长、一次控制需要多次模型前向,实时性反而被输出头吞掉。

第三个痛点更反直觉:历史动作是“容易抄的标签”。Meta‑World 相邻动作 MSE 仅 0.08±0.09,DMControl 为 0.20±0.22,远低于 Composuite 的 2.10±0.30(表 7,PDF p.32)。模型看到上一步动作时,可以靠复制获得低训练损失,却在闭环中把初始错误持续放大。作者因此删掉输入序列里的 action,只保留 state、return-to-go(RTG)与 reward;这不是纯架构替换,而是同时改了条件变量。

真正的问题于是变成:能否保留 Transformer 的大规模并行训练能力,用固定大小递归状态替代不断增长的 KV cache,同时让一个共享动作头覆盖离散与连续控制? LRAM 的答案是 xLSTM,但它也把“骨干更好”“删 action 更好”“共享头更快”三个因素打包在同一系统里,后文必须拆开看。

3. 论文故事线、假设与权衡

论文的故事线可压成五步。

  1. 沿用 Decision Transformer 的 upside-down RL:不拟合价值函数,也不做在线策略梯度,而把离线轨迹写成条件序列预测;目标回报通过 RTG 注入。
  2. 跨域统一输入:图像用小型 CNN,低维状态、reward 与 RTG 用线性层;避免视觉 patch 与连续状态 tokenization 膨胀长度(§3.2,PDF p.4)。
  3. 删除历史 action:防止平滑动作域出现 copycat shortcut,让长上下文真正承载状态 / 回报信息。
  4. 共享动作头:连续动作每维离散成 256 个均匀 bin;最多 8 个连续维度与 18 个离散 action 统一用一次并行 head 输出,以交叉熵训练(§3.2,PDF p.4)。
  5. 并行训练、递归部署:训练时 xLSTM/Mamba 用并行模式处理 150 token 上下文;部署时只维护上一时刻 hidden state,不再重读全历史。

核心假设有三层。架构假设是递归骨干在足够大规模下不损失任务性能;数据假设是六域混合且每域等比例采样能代表 generalist action model;系统假设是 A100 上 custom kernel 的收益能迁移到真实机器人边缘设备。实验较好支持第一层,部分支持第二层,却几乎没有测试第三层。

权衡也很明确:xLSTM[1:0] 只有 mLSTM,最容易并行,主 432 任务平均更强;xLSTM[7:1] 插入 sLSTM,理论上擅长 state tracking,在 Dark‑Room 这类部分可观测任务上更好,但 sLSTM 不完全并行。Transformer 则仍保留精确 token recall 的优势。论文自己在结论中承认,不同任务应选不同骨干,而不是“递归结构普遍替代注意力”(§5,PDF p.9)。

4. 方程级形式化、流程与伪代码

离线轨迹写为

τ_i=(s_1, R̂_1, a_1, r_1, …, s_T, R̂_T, a_T, r_T),其中 R̂_t=Σ_{t'=t}^T r_{t'}。

原始 multi-game Decision Transformer 学习(论文式 1,PDF p.3):

â_t ~ π_θ(· | s_{t-C},R̂_{t-C},a_{t-C},r_{t-C}, …, s_t,R̂_t)。

LRAM 删除 action condition 后得到(论文式 2,PDF p.4):

â_t ~ π_ρ(· | s_{t-C},R̂_{t-C},r_{t-C}, …, s_{t-1},R̂_{t-1},r_{t-1},s_t,R̂_t)。

对离散动作,head 直接给 p(a_t=k|h_t);对连续第 j 维,先用 256 个 bin 量化为 b_{t,j},总损失可写为

L(ρ)=−Σ_t [ Σ_{j∈cont} log p_ρ(b_{t,j}|h_t) + Σ_{k∈disc} 1[a_t=k]log p_ρ(k|h_t) ]。

这是对论文交叉熵实现的等价展开,不额外引入未报告的损失项。递归推理的关键状态更新可抽象为 h_t=F_ρ(h_{t−1},x_t);Transformer 则保存 K_{≤t},V_{≤t}。因此 xLSTM 单步状态开销与历史长度无关,而 DT 的 cache 随 t 增长。

训练(并行):
  从六个域等比例抽 batch;每域 128,梯度累积后有效 batch 768
  截取 C=50 个 timestep(每步 state / RTG / reward,共 150 token)
  编码图像或低维状态;不输入历史 action
  xLSTM 以并行模式产生 hidden sequence
  共享 head 一次性预测离散 action 或最多 8 维连续 action 的 256-bin
  交叉熵反传;AdamW,200K update

部署(递归):
  初始化 hidden state h0
  每个控制周期:
    输入当前 state、更新后的 RTG 与上一步 reward
    h_t ← recurrent_xLSTM(h_{t−1}, token_t)
    logits ← shared_action_head(h_t)
    离散任务取 action;连续任务逐维反量化 256-bin
    执行动作,并保留 h_t;不重放整段上下文

5. 关键机制与工程细节

组件 论文配置 设计作用 工程风险 / 未闭合点 来源
数据混合 6 域、432 训练任务、37 hold-out、894M transitions 骨干跨域对照 每域等权而非按 token / 任务 / 真实频率;域间干扰未做矩阵 表 1;附录 C.1
模态编码 图像 CNN;低维 state / RTG / reward 线性层 缩短序列 没有语言指令、视觉语义或真实传感器噪声 §3.2
条件序列 (state, RTG, reward),删除 action 避免 copycat 与标准 DT 条件不同,骨干归因被混合 式 2;附录 E.1
连续动作 每维 256 bins,最多 8 维 统一交叉熵 量化误差与高维动作扩展未系统测量 §3.2,PDF p.4
Shared head 离散 / 连续维并行输出 避免逐维自回归时延 head 参数、动作 masking 与异构任务隔离细节有限 §3.2
xLSTM 配比 [1:0] 纯 mLSTM;[7:1] 混 sLSTM 兼顾并行记忆与 state tracking 主任务多为 fully observable,sLSTM 的价值只在 Dark‑Room 明显 §4.3;附录 E.3
规模 16M / 48M / 110M / 206M;另有 408M 单次 检查 scaling 408M 仅单次,不能讨论稳定 scaling law 图 2、图 13
训练 200K updates;AdamW;LR 1e−4→1e−6;warmup 4K;clip 0.25 同协议公平比较 4×A100,5–30 小时;能耗未报 表 5;附录 C.4
推理 A100 40GB;custom xLSTM kernel;DT 用 KV cache + FlashAttention 长上下文低延迟 未测 Jetson / CPU / TPU / 真机控制器;Mamba 无 torch.compile §4.4
统计 主实验 3 seeds,评估均值与 95% CI;每任务另 3 evaluation seeds 比单次更可靠 多个关键消融明确只有 1 seed 附录 C.1、E.1、E.3

一个需要特别指出的复现冲突:附录 C.1 文字说“我们不使用 Dropout”,附录 E.4 也说删除默认 0.1 Dropout;但表 5 却列 Dropout=0.2(arXiv HTML 行 540–560,PDF p.21)。这不是表述偏好,而是会改变连续控制性能的关键超参,报告必须把它标成未消解冲突。

6. 数据集、基准与指标

域 训练任务 轨迹 平均长度 transitions 观测 / 动作 主指标
Atari 41 136K 2733 205M 图像 / 18 离散动作 human-normalized score;附录给 raw reward
Composuite 240 480K 500 240M 93 维 state / 8 维连续动作 data-normalized score;raw reward
DMControl 11 110K 1000 110M 3–24 维 state / 1–6 维动作 data-normalized score;raw reward
Meta‑World 45 450K 200 90M state / 连续动作 data-normalized score;raw reward
Mimicgen 83 83K 300 25M state / 连续动作 success / data-normalized score
Procgen 12 2.185M 144 224M 64×64 灰度图 / 15 离散动作 data-normalized score;raw reward

表 1 的 “Repetitions” 显示训练时数据暴露并不均匀:Mimicgen 8.5×,Meta‑World 2.34×,Composuite 0.87×。这是因为每个更新让六域大致等权,数据量小的域会被反复使用。因而“894M transitions”不能直接理解为每个样本只看一遍;尤其 Mimicgen 的过采样可能提高拟合,也可能放大小数据偏差。

论文主图把不同域先正规化再等权平均,适合比较整体趋势,却会掩盖 raw scale 与任务难度。下面主矩阵因此同时保留各域原始平均,不做跨行求和;不同域数值单位不可互换。

7. 主结果数据矩阵:四方法,不伪造六方法

论文在统一 206M 设置只比较 DT、Mamba、xLSTM[1:0]、xLSTM[7:1] 四种骨干,没有六方法矩阵。下表给出能从附录原始表逐项核验的 6 行×4 方法;不补造不存在的基线。加粗为该行最优。

基准 / 指标(越高越好) DT Mamba xLSTM [1:0] xLSTM [7:1] 最佳 xLSTM 对 DT
Procgen 12 任务 Avg. Reward 8.32 7.55 8.73 8.76 +0.44;+5.29%
Atari 41 游戏 Avg. Reward 5556.81 6281.27 6705.61 6383.35 +1148.80;+20.67%
Meta‑World 45 任务 Avg. Reward 1486.05 1486.18 1455.15 1464.16 −21.89;−1.47%
DMControl 11 任务 Avg. Reward 364.52 496.65 505.06 522.55 +158.03;+43.35%
Mimicgen / Panda Stack D0 success 0.47±0.12 0.20±0.00 0.67±0.31 0.73±0.12 +0.26;+55.32%
Mimicgen / UR5e Stack D0 success 0.40±0.20 0.30±0.14 0.87±0.12 0.67±0.12 +0.47;+117.50%

来源:论文附录表 8(PDF p.37)、表 9(p.38)、表 10(p.39)、表 11(p.40)、表 12(p.41)。Meta‑World 行明确显示“递归骨干全面赢”不成立:DT 的 1486.05 比 xLSTM[7:1] 高 21.89。Atari 与 DMControl 则支持架构收益,但不同 xLSTM 配比互有胜负:Atari 纯 mLSTM 最优,DMControl 混合 sLSTM 最优。

7.1 单任务方差不是装饰

DMControl 的 finger-turn-easy 从 DT 121.27±104.60 提到 xLSTM[7:1] 640.13±82.48,但 walker-run 从 DT 155.91±73.84 降到 xLSTM[7:1] 145.01±31.71;reacher-easy 更是 Mamba 180.70±133.64 最高,xLSTM[7:1] 仅 58.00±13.91(表 11)。因此平均 +43.35% 由若干大幅任务收益推动,不代表每个控制动力学都更适合 xLSTM。

7.2 效率结果:结论强,精确速度比弱

图 6 在 A100 上以 206M 模型比较 C=50…25600 timestep(每步 3 token),batch 为 1 或 16。xLSTM 的延迟曲线基本平坦,DT 随上下文增加并在长上下文 OOM;图 7 的 C=1600 throughput 也显示 DT 在 batch>64 OOM,而递归骨干可跑到 128。论文图没有在正文表格给出所有柱子的精确数字,因此本报告不从像素强行伪造“X× speedup”。能严格推出的是:在该 A100/Freeway/custom-kernel 设置中,xLSTM 的可用上下文与 batch 上限更高,且长上下文延迟更低;不能推出任意边缘硬件上的固定倍数。

8. 逐层消融、超参敏感性与相变

8.1 删除 action:最大的建模改动

全 432 任务、206M DT 的单 seed 消融显示:带历史 action 时,context 从 1 增到 50,平均 normalized score 仍约 0.3;删除 action 后,从约 0.3 升到 0.7(图 24,PDF p.30)。对 xLSTM[1:0],同样从 C=1 约 0.4 升到 C=50 约 0.8(图 26,PDF p.31)。相变不是“更长永远更好”,而是 只有先移除可复制的 action shortcut,长上下文才变成有效信息。

但这项消融只有一个 seed,作者也明确承认计算原因(附录 E.1.2)。所以 0.3→0.7 与 0.4→0.8 可视为强趋势,不宜当成有置信区间的精确效应量。

8.2 mLSTM / sLSTM 比例:任务性质决定最优点

在主 432 任务的 16M 消融中,纯 mLSTM [1:0] 平均优于含 sLSTM 变体;作者解释这些环境多数 fully observable,不强依赖 state tracking。到 Dark‑Room 10×10 的 80 训练 / 20 hold-out 目标上,低层插入 sLSTM 的 [7:1]@1 与 [3:1]@1,3 又优于纯 mLSTM;深层放 sLSTM 或全 sLSTM 表现差(图 30–31,PDF p.36)。这意味着 sLSTM 不是越多越好,位置与部分可观测性共同触发收益。

8.3 RTG 与行为克隆

206M 消融去掉 RTG,或进一步去掉 reward 后,四种骨干的相对趋势仍近似保持(图 28–29,PDF pp.32–33),说明“递归骨干优于 DT 的趋势”不完全依赖 return-conditioning。但论文明确说最终性能低于带 RTG 的模型;因此 BC 迁移只支持排序稳定,不支持绝对能力不损失。

8.4 kernel、head 数与层数

xLSTM 每个 timestep 有 3 token;普通 recurrent 实现要做 3 次 forward,chunkwise kernel 只需一次。图 21 显示 batch=1 时,甚至无 kernel 的 chunkwise 也快于有 kernel 的逐 token recurrent;batch 增大后 kernel 优势反转(附录 D.5.3,PDF p.30)。图 22 进一步显示固定 hidden dimension 时,把 head 从 4 增到 32、降低每头维度,throughput 继续增长,因为高 head dimension FLOPs 更高(PDF p.28)。把 xLSTM 层数减半并放大 hidden 以匹配 DT 参数时,性能略降但仍高于 DT(图 33,PDF p.35)。这些结果说明速度是 架构 × kernel × head geometry 的联合产物。

8.5 Dropout 冲突

作者称 DT 默认 0.1 Dropout 会显著伤害 Composuite,故主实验删除 Dropout(附录 E.4);但超参表 5 写的是 Dropout 0.2。仓库命令行也没有在 README 清楚覆盖这一项。因为连续控制对 Dropout 非常敏感,所以在冲突消解前,DT 基线是否被最优调参无法完全确认。

9. 统计显著性:哪些有,哪些没有

主实验按附录 C.1 报告 3 个训练 seed 的均值与 95% 置信区间,每个任务另平均 3 个 evaluation seed;这比许多单 seed 大模型动作论文更扎实。表 10–12 的大量 mean± 也让任务级波动可见。

然而统计并不覆盖所有关键主张:408M scaling 只有 1 次 run;全任务 context-length 消融只有 1 seed/长度;mLSTM:sLSTM 配比也只有 1 seed/ratio;延迟 / throughput 图只说跨 5 个 episode 平均、丢弃首 episode,未给标准差、P95/P99 或多机器重复。论文也未对六域多重比较做显著性校正。因此能说“主 16M–206M 性能趋势具有三种子支持”,不能说“所有超参相变与系统优势都统计显著”。

10. 真正贡献、可复用设计与迁移潜力

真正贡献一:把“动作基础模型”从注意力默认选项变成可检验的骨干选择。 论文不是只在一个 MuJoCo 表上替换 RNN,而是在 432 任务、六域、四模型规模上保持训练协议,证明 xLSTM/Mamba 在大动作模型里至少是有竞争力的。

真正贡献二:识别 action-copy shortcut。 删除 action 的做法看似违背 Decision Transformer,但表 7 的相邻动作 MSE 与 context 消融形成了较完整因果链:动作越平滑,越容易复制;复制降低训练损失,却损害闭环纠错;删除 action 后,长上下文才真正增益。这一设计可迁移到 diffusion policy、VLA action chunking 与任何低 jerk 控制数据。

真正贡献三:把系统细节当成模型的一部分。 共享并行动作头、固定递归状态、chunkwise kernel、head dimension 都直接决定控制频率。可复用原则是:评估控制模型不能只报任务成功率,必须同时报告 context、batch、状态缓存、输出头次数与整环境 step latency。

迁移上,LRAM 最适合三类场景:长轨迹部分可观测控制(用低层 sLSTM)、大量并行仿真环境的在线微调(利用 throughput)、以及边缘设备上需要固定内存的策略。但把它迁到开放词汇 VLA 时,还要处理语言 token、视觉 patch、跨模态注意力和动作 chunk;当前论文的“小 CNN + 低维 state”并不能直接证明 VLA 级别仍成立。

11. 相关工作:问题来源—遗留缺口—回应—设计传递

11.1 Decision Transformer:把 RL 变成序列建模

解决什么:DT 用 desired return、state、action 的因果序列直接预测下一动作,不显式拟合 Q 或做策略梯度;arXiv 摘要报告在 Atari、Gym、Key‑to‑Door 匹配或超过当时模型无关离线 RL。
遗留缺口:Transformer 在长控制历史上维护增长的 KV cache;标准条件还容易在平滑动作域学习 copycat。
LRAM 如何回应:保留 RTG 条件与 next-action objective,换成递归状态,并删除历史 action。
关键设计如何传递:DT 传递了“轨迹即语言”的接口,LRAM 改写了骨干和 token 条件,却没有推翻序列 RL 范式。

11.2 Gato:统一任务、模态与动作词表

解决什么:Gato 用同一组权重处理 Atari、文本、图像描述与真实机械臂,证明单个 Transformer 可跨 600+ 任务。
遗留缺口:统一 tokenization 与自回归动作让序列和推理路径变长;训练数据与权重不完全公开。
LRAM 如何回应:以六域 432 任务重建可公开的多任务对照,并避免视觉 patchify、连续状态 tokenization 与逐维自回归动作。
关键设计如何传递:Gato 的 shared action vocabulary 传到 LRAM,具体实现变为 256-bin 并行共享 head。

11.3 Mamba:选择性状态空间与硬件感知递归

解决什么:Mamba 让 SSM 参数依赖输入,并以硬件感知扫描兼顾并行训练与线性序列复杂度。
遗留缺口:选择性 SSM 在 action domain 的性能与实时闭环尚未系统比较;本论文中 Mamba kernel 与 torch.compile 不兼容,batch=1 甚至慢于 DT。
LRAM 如何回应:把 Mamba作为强递归基线,并在同任务、同规模、同 A100 环境比较。
关键设计如何传递:并行训练 / 递归部署模式与固定状态复杂度直接进入 LRAM 评测协议。

11.4 xLSTM:指数门控、矩阵记忆与状态追踪

解决什么:xLSTM 引入指数门控;mLSTM 用矩阵 memory、可完全并行,sLSTM 保留非对角递归矩阵以支持 state tracking。
遗留缺口:原论文主战场是语言建模,未证明具身序列的动作质量、实时性和跨域 scaling。
LRAM 如何回应:把 [1:0] 与 [7:1] 两种结构用于 432 任务,并用 Dark‑Room 验证 sLSTM 在部分可观测场景的条件性价值。
关键设计如何传递:mLSTM 提供大规模吞吐,sLSTM 作为稀疏插入的状态追踪层;低层放置优于深层堆叠。

11.5 非线性技术演进树

在线 RL 专家轨迹 ───────────────┐
                                 ├─> 离线轨迹数据(894M transitions)
Decision Transformer ── RTG 条件 ┘                │
        │                                           ├─ 删除 action → 抑制 copycat
        └─ Transformer / KV cache ── 长序列瓶颈 ──┤
                                                    ├─ 256-bin + shared action head
Mamba ─ 选择性 SSM ─ 固定状态 ────────────────┐    │
                                              ├──> LRAM
xLSTM ─ 指数门控 ─┬─ mLSTM:并行矩阵记忆 ────┘    │
                  └─ sLSTM:状态追踪 ─ Dark-Room ─┘

LRAM ──> 长上下文 / 高并行吞吐
   ├──> 仍缺:真实机器人、边缘硬件、在线 RL
   └──> 仍缺:语言条件 VLA、动作 chunk 与安全约束

11.6 跨论文对标

工作 核心序列骨干 训练范式 跨任务 推理状态 实时 / 真机证据 LRAM 接收或修正
Decision Transformer Transformer 离线 BC + RTG 小规模 KV cache 随历史增长 非重点 接收 RTG,删 action、换递归骨干
Gato Transformer 多模态 BC 600+ 任务 KV cache 有真实臂任务,但系统时延非主线 接收统一动作接口,改为并行 head
Mamba Selective SSM 通用序列建模 非动作专用 固定递归状态 LRAM 内 A100 对照 作为效率基线;暴露 kernel 兼容问题
xLSTM mLSTM + sLSTM 通用序列建模 非动作专用 固定递归状态 原作无机器人 直接成为 LRAM 核心骨干
LRAM xLSTM / Mamba 894M transition 离线 BC/RTG 432 训练 + 37 hold-out 固定 hidden state A100 仿真;无真机 —

12. 论文自述限制(带位置)

  1. 没有真实机器人实验:作者明确说主要目标是 robotics,但多数实验只在机器人模拟器,尚无真机证据(§5 “Limitations & Future Work”,PDF p.9)。
  2. 微调只做离线 RL:作者希望未来用在线 RL 探索训练数据外策略,但当前 fine-tuning 仅离线(同节,PDF p.9)。
  3. ICL 只在 Dark‑Room 网格世界:提高的 in-context learning 只在 10×10 grid-world 验证,复杂环境未测(同节,PDF p.9)。

13. 独立批判:因为 X,所以 Y

  1. [因果归因] 因为 LRAM 同时替换骨干、删除历史 action、取消 timestep encoding、使用共享并行动作头,所以性能与速度提升不能全部归因于 xLSTM;应在同一 Transformer 上逐项加入这些改动,做完整 factorial ablation。
  2. [外部有效性] 因为全部 432 训练任务和 37 hold-out 都来自模拟 / 游戏,且作者自述没有真实机器人,所以“适合实时机器人”的结论目前是系统复杂度外推,而不是部署证据;传感器 jitter、通信延迟、控制器 safety stop 都未进入测量。
  3. [硬件公平性] 因为 xLSTM 使用 custom kernel 与 torch.compile,Mamba kernel 却与 torch.compile 不兼容,推理只在 A100 40GB 测试,所以图 6–7 衡量的是“当前实现栈”而非纯架构下界;需要至少 A100、RTX、Jetson、CPU 四平台 head-to-head。
  4. [指标聚合] 因为六域先各自正规化再等权,且训练也让每域近似等比例,Mimicgen 数据被重复约 8.5×、Composuite 仅 0.87×,所以整体平均会隐藏样本效率与任务数量差异;应同时报告 micro-average、macro-average、每 transition 收益与每域 Pareto。
  5. [性能边界] 因为 206M raw 表中 Meta‑World 的 DT 1486.05 高于 xLSTM[7:1] 1464.16(−1.47%),而多个 DMControl 单任务也由 Mamba或DT胜出,所以“recurrence 更适合 action model”只能表述为平均趋势,不能写成支配关系。
  6. [统计覆盖] 因为主实验虽有 3 seeds 与 95% CI,但 context-length、mLSTM:sLSTM ratio、408M scaling 均只有 1 seed,所以论文最有机制意味的“相变”并无稳定性证据;至少需要 5 seeds、bootstrap across tasks 与多重比较校正。
  7. [复现一致性] 因为附录文字说不使用 Dropout,表 5 却写 0.2,而 E.4 又说默认 0.1 会显著伤害连续控制,所以 DT 基线调参状态不清;这个冲突足以影响“骨干胜负”,应由 config commit 与最终 checkpoint 元数据消解。
  8. [安全性] 因为策略以 next-action prediction 模仿离线数据,没有约束层、OOD detector 或 uncertainty abstention,而论文 Impact Statement 又警告未知场景可能“hallucinate”动作,所以固定状态递归带来的低时延也可能更快执行错误;真机前必须加入 action shield 与回退控制器。

14. 开放挑战:可操作的 head-to-head 实验空白

14.1 理论

  • 记忆容量 vs. 可控误差:在可调 POMDP memory length L∈{16,64,256,1024} 上,固定参数比较 DT、Mamba、mLSTM、低层 sLSTM;同时测 policy regret、隐藏状态线性 probe 与遗忘曲线。若 xLSTM 只在 probe 好但控制差,state tracking 解释即不闭环。
  • action-copy 相变:合成控制器把相邻动作相关系数从 0 到 0.99 连续扫描,比较有/无 action condition;预注册 copycat 临界点与闭环误差增长率,验证表 7 的 MSE 是否真是充分解释变量。
  • 多任务干扰定律:固定总 token,改变六域混合权重与任务数;比较 macro return、梯度夹角和 representation overlap,寻找“等域采样”何时优于按数据量采样。

14.2 工程与应用

  • 边缘硬件真实时延:同一 206M checkpoint、同一动作头,在 A100、RTX 4090、Jetson AGX Orin、桌面 CPU 上报告 median/P95/P99、功耗、峰值内存和 100/500/1000Hz deadline miss rate;不能只报平均每步。
  • 真机闭环:在 Franka / UR5 的插接、开门、动态避障任务上,用相同演示训练 DT 与 LRAM;至少 20 seeds×50 episodes,加入 network jitter 与视觉遮挡,比较成功率、安全中止、累计 jerk 与恢复时间。
  • 公平系统栈:为 DT、Mamba、xLSTM 分别提供 best available kernel 与统一 compilation policy,再做 kernel-off / kernel-on 两层对照;把“架构收益”与“软件成熟度收益”分离。
  • VLA 迁移:在同一视觉编码器和语言模型上,只替换 action backbone;比较 BridgeVLA/π0 类 flow head 与 256-bin shared head,测指令泛化、动作精度、TTFT 与 action-chunk latency。

14.3 新兴方向

  • 在线 RL 后训练:从同一离线 checkpoint 出发,在 1024 并行环境中对 DT、Mamba、LRAM 做等 interaction budget 的 PPO / SAC 微调;同时测 throughput 与策略崩塌,验证递归吞吐是否真正转化为样本效率。
  • 不确定性与安全回退:为四种骨干增加 ensemble 或 conformal action set;OOD 时触发 MPC / impedance controller,比较风险调整回报与误拒率。
  • 长期 agent memory:把 LRAM 的固定状态用于工具调用或软件 agent,和显式检索 memory head-to-head;测 10k–100k step 的任务完成、可审计性与错误恢复,而非只看 token-level loss。

15. 近期工作雷达(经验证链接)

  1. Emergent Dexterity via Diverse Resets and Large-Scale RL(ICLR 2026):用 reset 分布替代大量任务工程,适合检验 LRAM 的在线 RL 吞吐能否转化为长时灵巧操作;但与 LRAM 一样需要把模拟收益落到真机安全。
  2. Raw2Drive(NeurIPS 2025 session):用 privileged / raw 双 world model 缓解端到端驾驶的因果混淆;可与 LRAM 比较“固定递归状态”是否足以承载世界模型滚动。
  3. HMARL-CBF(NeurIPS 2025):把多智能体高层技能与低层控制障碍函数结合,提供 LRAM 当前缺少的形式安全层;开放问题是大模型策略与 CBF 的接口延迟。
  4. GO-Skill(ICML 2025):离散技能库服务离线多任务迁移;与 LRAM 的共享动作头形成“高层离散技能 vs. 低层统一动作”的互补对照。
  5. Online Pre-Training for Offline-to-Online RL(ICML 2025):用新的 value function 过渡到在线 fine-tuning;正好补 LRAM 只做离线微调的缺口。
  6. ELEMENTAL(ICML 2025):用示范与 VLM 交互设计奖励;若接到 LRAM,可测试语言奖励生成是否抵消纯 RTG 条件的任务语义贫乏。
  7. A Vision-Language-Action-Critic Model(Hugging Face Daily Paper):以 VLA critic 为真机 RL 提供稠密进度奖励;它把“快速 action backbone”推进到“可学习 reward + action”的闭环,但 learned critic 的 reward hacking 仍需独立审计。
  8. MUA-RL(arXiv:2508.18669):把模拟用户纳入多轮工具调用 RL;它与机器人 LRAM 的共同问题是长序列信用分配,但 tool agent 更需要可审计外部记忆而非不可解释 hidden state。

16. 最终判断

LRAM 值得看,不是因为它宣布“RNN 回归”,而是因为它把 骨干、条件序列、动作头和 kernel 放进同一个机器人时延问题里。最强的数字是 DMControl 206M 平均回报从 DT 364.52 提到 xLSTM[7:1] 522.55(+158.03,+43.35%),同时长上下文不再扩张 KV cache;最关键的反证是 Meta‑World 反而 −1.47%,且真机、边缘芯片与在线 RL 都没有验证。

因此可复用结论应写成:对长历史、并行环境与固定内存部署,现代递归骨干是强候选;对每个任务域,是否值得换骨干必须与 action conditioning、kernel、可观测性和硬件一起做 head-to-head。 若只把 xLSTM 当成 Transformer 的等参数替代而忽略删 action 与共享 head,复现很可能得不到论文叙事中的收益。


证据与复现脚注

  • 核心数字只来自 ICML/PMLR、arXiv v3 PDF/HTML 与官方仓库;聚合站不作为数值来源。
  • HTML 轻 / 深主题与移动端规则已做静态检查;运行环境未发现 /usr/bin/chromium 或 /opt/pw-browsers 浏览器二进制,因此无法完成用户指定的本机 Playwright 三视口实浏览截图。报告未运行 playwright install,并保留横向滚动表格、响应式间距和高对比色作为降级措施。
  • ml-report-index.md 已追加本条报告索引。