Embodied‑R1：把“点”变成跨机器人本体接口——强化推理、证据边界与复现实审

5.1 多任务指点空间

令观测图像为 I、指令为 x、模型回答为 y=(c,p)，其中 c 是 <think>…</think> 推理文本，p 是一个点、点集或轨迹。四类任务的可接受集合分别为物体 mask M_obj、目标区域 M_goal、功能 mask M_fun 与参考轨迹 G=(g_1,…,g_K)。关键不是把唯一坐标当作标签，而是定义集合奖励。

格式、准确率与 mask 奖励可写为：

r_format(y)=1[标签与坐标格式合法]

r_acc(y,g)=1[y=g]

r_mask(p,M)=1[p∈M]

距离奖励以最近/最远合理距离归一化：

r_dis(p,g)=clip(1-(||p-g||_2-D_min)/(D_max-D_min),0,1)。

VTG 先把预测和参考轨迹插值到同长度，再以 RMSE 进入相同的阈值映射得到 r_trace。总奖励为

R(y)=Σ_{r∈F_task} w_r r(y), Σ w_r=1, R∈[0,1]。

论文正文以 RRG 为例写 0.1 r_format + 0.2 r_dis + 0.7 r_mask（PDF p.7），附录表 9 却写 0.1 + 0.3 + 0.6（PDF p.24）。该冲突意味着复现者无法仅凭论文确定实际权重；报告后文不会替作者猜测代码使用哪一套。

5.2 GRPO 更新

对每个输入 q=(I,x)，旧策略采样 G=8 个回答 {o_i}，按组内均值与标准差归一化：

A_i=(R_i-mean(R_1…R_G))/(std(R_1…R_G)+ε)。

以 token 比率 ρ_{i,t}=π_θ(o_{i,t}|q,o_{i,<t})/π_old(o_{i,t}|q,o_{i,<t}) 构造 PPO 式裁剪目标，并加参考策略 KL：

L_GRPO = - E[min(ρ A, clip(ρ,1-ε,1+ε)A) - β KL(π_θ||π_ref)]。

其技术来源 DeepSeekMath 通过组内分数估计 baseline，省去 PPO 的 value model（DeepSeekMath §4.1.1，PDF p.13）。Embodied‑R1 使用 KL 系数 β=10^-2、每题 8 个 samples、global batch 128（附录实现细节，PDF p.23）。需要注意：当 8 个回答奖励完全相同，标准化优势接近零；对极难/极易样本，GRPO 可能不给有效梯度。这是组相对方法的结构性边界，不是本文实验已证明的失败率。

5.3 两阶段训练与执行伪代码

Input: Qwen2.5-VL-3B-Instruct, Stage-1 spatial/general data,
       Stage-2 Embodied-Points tasks, task reward library

Stage 1: 2 epochs RFT
  for image, instruction in Embodied-Spatial-84K + ViRL subset(18K):
    sample 8 responses; score format + exact/spatial correctness
    normalize group rewards; GRPO update with KL to reference

Stage 2: 1 epoch RFT
  for task in {REG, RRG, 3D-RRG, OFG, VTG, QA}:
    sample 8 <think> + coordinate responses
    choose task-specific rewards {format, acc, mask, distance, trace, env}
    GRPO update

Deployment:
  RGB(/D) + instruction -> reasoning + point(s)/8-point trace
  -> pixel-to-world / detector / IK / motion planner (or DP)
  -> robot executes; no task-specific fine-tuning in zero-shot setting

8.1 四类点式能力（论文表 2，PDF p.8；单位 %，↑）

这里最有信息量的不是四列全胜，而是增益不均：底座在 RoboRefIt 已有 74.90，SFT 已达 83.85，RL 只再加 1.73 pp；Where2Place 则从 41.25 跳到 69.50。一个合理但尚未被因果证明的解释是，mask/距离奖励为多解放置提供了比单坐标 SFT 更合适的学习信号。

8.2 视觉轨迹（论文表 3，PDF p.8）

相对 FSD，R1 的 RMSE 仅低 0.5 / 0.64%，但 MAE 低 18.4 / 29.02%，LLM score 高 1.1 / 17.74%（本报告复算）。这可能意味着少数大误差仍拉高 RMSE，而典型点误差明显改善；没有误差分布与样本级统计，不能进一步定位尾部。

8.3 SIMPLEREnv 零样本操作（论文表 4，PDF p.10；每任务 24 episodes，%）

R1 的平均优势来自前两列；Stack 明显低 SoFar 26.4 pp，Eggplant 低 OpenVLA‑OFT 14.2 pp。平均 56.2 对 53.8 的相对提升是 4.46%，并不支持摘要“相对强基线提高 62%”在该表上的直读。62% 的分母、指标或汇总方式在论文中没有清楚对应，故本报告把它标为不可复算的摘要主张。

8.4 真实 XArm（论文表 5，PDF p.11）

前两个任务各 5 次，后六个各 6 次，总共 46 trials；表中平均为任务平均而不是报告原始成功总数。R1‑T 相对 R1‑P 为 +4.2 pp / +5.04%，但论文没有配对试验、随机种子或二项置信区间，不能称这一差异显著。它能说明“轨迹接口可运行”，不能说明轨迹普遍优于点。

8.5 3D 与下游策略扩展

Open6DOR 中，Embodied‑R1‑RGBD 的 Level 0 / Level 1 / Overall 为 99.2 / 74.5 / 94.3，SoFar 为 96.0 / 81.5 / 93.0（表 13，PDF p.29）：总体只高 1.3 pp，复杂关系 Level 1 反而低 7.0 pp。LIBERO 中 Diffusion Policy 平均由 64.4 提到 79.4（表 12，PDF p.28），是 +15.0 pp / +23.29% 相对；表头写“↑15%”更准确应称 15 个百分点。两个扩展都说明 point prior 有迁移潜力，但一个暴露 RGB‑D 深度/关系瓶颈，一个没有与等训练预算的更强先验做对比。

9.1 RL 与 thinking 的二因素消融

RL 在有 thinking 时带来 +24.25 / +17.72 pp；thinking 在有 RL 时带来 +2.50 / +4.89 pp。但在没有 RL 的 VABench‑P，thinking 从 50.46 降到 47.67，即 −2.79 pp。因此“写推理链”本身不是单调有益，RFT 可能主要在做推理与点的一致性校准。

9.2 混合任务训练

Mixed 相对 Unmixed 在 Part‑Afford / Where2Place / VABench‑P 分别为 56.63 vs 51.25、69.50 vs 65.50、66.00 vs 65.39（表 8，PDF p.15），即 +5.38 / +4.00 / +0.61 pp。前两项支持跨任务共享，第三项接近测量噪声量级；无方差时不能宣称每项都稳定正迁移。

9.3 点数约束揭示的 reward hacking

VTG 有 8 点约束时 RMSE / MAE / GPT score 为 77.83 / 44.97 / 7.27；去掉约束后为 105.2 / 59.7 / 5.57（表 11，PDF p.27）。作者观察到模型倾向只输出起点和终点。这里存在清晰“相变”：并非奖励平滑退化，而是输出长度成为捷径；把非 8 点回答奖励全部置零才消除。可复用教训是：结构化 RL 的格式约束必须覆盖可钻空子的自由度，否则模型会优化可验分代理而不是完整轨迹。

9.4 论文没有报告的敏感性

论文未报告 learning rate、KL 系数、group size、mask/距离权重、Stage 1/2 数据比例、response length 的 sweep，也未报告难题中“8 个回答同奖”的比例。故不能判断性能对 β=10^-2 或 group=8 是否处在宽稳态区，更不能断言两阶段次序不可替代。唯一可称作超参相变的证据，是 8 点硬约束去除后出现两点捷径；其余只能设计实验，不能补造曲线。

12.1 Qwen2.5‑VL：原生点定位底座

它解决不同分辨率图像、目标定位、文档和长视频理解，通过原生动态分辨率 ViT 与 Window Attention 控制计算（技术报告 §2，PDF p.3–4）。遗留缺口是通用 grounding 不等于操作 affordance，更没有机器人成功奖励。Embodied‑R1 继承视觉 token 与点输出能力，把输出语法收窄为四类具身接口，再用任务奖励校准。传递的设计是：保留通用 VLM 的视觉坐标能力，新增的不是检测头，而是具身数据、reasoning 格式和 RL 目标。

12.2 RoboPoint：点式 affordance 的直接问题来源

RoboPoint 解决 VLM 语言输出太粗的问题，用合成数据把操作条件变成关键点，且无需真人演示；论文报告 affordance 精度 +21.8%、下游成功率 +30.5%（PDF p.1、p.10）。遗留缺口是主要覆盖物体/空闲区域，缺功能部位、连续轨迹与显式 reasoning，训练仍以 instruction tuning 为主。Embodied‑R1 将点扩成四能力，并用多解友好的 mask / distance / trace reward。传递的设计是：点作为本体无关中间层保留，任务覆盖和学习范式被扩展。

12.3 FSD：从 Sr‑CoT 到可奖励推理

FSD 解决“看懂空间却不会给行动辅助”的断层，以 spatial relationship graph 锚定 Sr‑CoT，再生成 affordance box/point/trace；它在 SIMPLEREnv 为 40.6%、真实 8 任务为 72%（PDF p.1、p.11）。遗留缺口是 SFT 用单一答案监督，多解输出受限，且复杂推理可能与最终坐标脱节。Embodied‑R1 直接继承视觉辅助路线，用组相对奖励让 reasoning 与落点共同受验分。传递的设计是：先结构化空间解释，再生成动作提示；转折是从 imitation 改为 verifiable RFT。

12.4 DeepSeekMath / GRPO：从数学答案验分到几何验分

DeepSeekMath 解决 PPO 训练 reasoning 模型时 critic 占显存、难训练的问题，以同题多回答的组均值作 baseline，省去 value model（§4.1.1，PDF p.13）。遗留缺口是数学题通常有明确结果，而机器人落点是连续、多解且部分可行。Embodied‑R1 把 exact reward 替换/补充为 mask、距离和轨迹奖励，并按任务组合。传递的设计是：可验证结果 + group-relative policy optimization；领域迁移的关键是把离散答案验分改造成集合/几何验分。

12.5 OpenVLA‑OFT：另一条端到端路线

OpenVLA‑OFT 解决 VLA 微调速度与性能，组合并行解码、action chunking、连续动作和 L1 回归，使 LIBERO 76.5→97.1、吞吐 26×（表 I，PDF p.6）。遗留缺口是仍需目标机器人数据和适配。Embodied‑R1 不与它争同一层：前者优化动作 policy，后者提供零样本中间表示；表 12 的 DP+R1 预示两条路线可组合。传递的设计不是某个模块，而是对照轴：专门化端到端性能 vs 跨本体模块化迁移。

12.6 非线性技术演进树

通用视觉语言底座（Qwen2.5‑VL：动态分辨率、原生点/框）
          │
          ├──────────────► 端到端动作路线
          │                 OpenVLA ──► OFT：chunking + 连续动作 + L1
          │                                      │
          │                                      └── 高任务内成功率，需适配数据
          │
          └──► 本体无关中间表示路线
                RoboPoint：REG / RRG 点
                    │
                    ├──► FSD：Sr‑CoT + visual aids（SFT）
                    │        │
DeepSeekMath：GRPO ─┴────────┴──► Embodied‑R1
                                     ├─ REG / RRG / OFG / VTG
                                     ├─ mask / distance / trace rewards
                                     ├─ zero-shot planner
                                     └─► DP + point prior（向闭环策略回流）

演进动力不是简单扩大模型，而是三次表征转折：语言→坐标，单点→功能/轨迹，SFT 唯一答案→RL 可行集合。下一转折很可能是“开环点→带不确定性、可反馈更新的时空约束”。

12.7 跨论文对标

理论

• 集合奖励是否一致。 固定 Qwen2.5‑VL‑3B 与数据，比较单坐标 CE、mask reward、distance-transform reward、基于可达/碰撞的 value reward；在同 768 GPU-hour 下报告有效解覆盖、执行成功与 reward—success Spearman。若 mask 高而执行不高，即证明代理不一致。
• GRPO 何时失去梯度。 对 group size {4,8,16,32}，记录全同奖组比例、组内方差、KL 与最终成功率；与带 learned critic 的 PPO、DPO/SFT 做等采样预算比较，验证组相对 baseline 是否在稀疏奖励阶段退化。
• 点接口的充分性边界。 在同一任务生成点、框、6D pose、稠密 affordance map、语言程序五种接口，以最优下游控制器比较成功率与互信息下界，找出几何任务复杂度增加时的“点失效阈值”。

工程与应用

• 零样本模块化 vs 适配 VLA。 Embodied‑R1+同一规划器、OpenVLA‑OFT、π0.5 在三种新本体上，各给 0/10/50 条示范，统一相机和 10Hz 控制；报告成功率、人工设置分钟、P50/P95 延迟与 GPU‑hour，画出“适配成本—成功率”Pareto。
• 开环 vs 闭环重规划。 同一 R1 权重比较一次生成、每 1 秒重指点、接触事件触发重指点；在遮挡和目标移动强度分层下报告失败恢复率。这样才能判断指点模型是否适合作为 agent policy 的 observation-to-subgoal 循环。
• 真实世界统计。 把 8 任务扩为每任务至少 50 trials、3 个随机场景种子、2 台机械臂和独立操作者；预注册 Wilson CI 与配对 McNemar / bootstrap，对 2.4 pp 级别差异给出检验功效。

新兴方向

• 不确定性指点。 比较单点、top‑k 点、概率热图和 conformal region；在固定规划器下测 coverage、区域面积、成功率与 abstention。目标是让模型知道“哪里不确定”，而不是总被迫输出坐标。
• 从几何 reward 到物理 reward。 在旋拧、擦拭、柔性体上比较二维 mask、6D pose、接触力轨迹和仿真器 rollout reward；若 2D 得分高但执行失败，即量化论文自述的力学缺口。
• 数据教师去耦。 OFG 的 GPT‑4o 问题、开源 VLM 问题与人工问题三组等量训练，交叉在不同语言风格与真实执行上测试，区分“功能理解”与“教师措辞模仿”。