BridgeVLA：把 3D 机器人输入与动作输出桥接到同一 2D 热图空间

2.1 传统 VLA 的语义强、样本效率弱

基于 VLM 的 VLA 能继承网页级视觉—语言语义，但通常把图像直接映射为连续动作序列；机器人数据昂贵，几百条轨迹/任务仍常见。相反，PerAct、RVT、RVT-2 这类 3D 策略用 voxel、点云或正交投影，把动作位置解释为“在观察空间中找一个点”，结构先验强、少样本更稳定，却没有大 VLM 的开放词汇语义。

核心论文给出两个具体错位（Introduction, PDF pp.1–3）：

1. 输入错位。 VLM 预训练看自然 2D 图像，3D VLA 微调却注入点云/每像素 3D 坐标，输入分布发生跳变。
2. 输出错位。 VLM 预训练预测 token 序列，机器人微调直接回归 3D 向量；动作没有与视觉 token 共享空间结构。

这不是抽象担忧。Table 1（PDF p.6）中，在相同 BridgeVLA 框架里加入 per-pixel 3D position feature，RLBench 平均成功率从 88.2% 降到 56.2%，绝对下降 32.0 pp、相对下降 36.28%；把热图头换成参数量近似的 Transformer 直接位置回归（309M vs 303M），成功率从 88.2% 降到 31.4%，下降 56.8 pp、相对下降 64.40%。因此论文的核心论点不是“更多 3D 信息总更好”，而是额外信息若破坏预训练接口，收益可能反向。

2.2 样本效率的表面胜利与计算成本的真实代价

真实机器人 Table 12（PDF p.24）中，BridgeVLA 每任务仅 3 条轨迹时，13 个任务共成功 124/130 次，即 95.38%≈95.4%；10 轨迹时为 126/130，即 96.92%≈96.9%。但 Appendix A（PDF p.16）披露 RLBench 微调使用 48×H100×20 小时≈960 H100·小时，COLOSSEUM 又需约 960 H100·小时。因此“样本效率”只描述机器人轨迹量，不等价于训练计算效率。论文摘要还写 3 轨迹成功率 96.8%，与正文 95.4%/Table 12 的 95.38% 不一致，这是本报告重点审计的口径问题。

4.1 问题定义

第 (i) 条演示轨迹为

[ _i={l_i,(o^i_1,ai_1),,(o^i_H,ai_H)}, ]

其中语言指令为 (l)，观察 (o) 是一个或多个 RGB-D 视图，动作 (a=(T,g,c)) 包含 (TSE(3)) 的 6-DoF 末端位姿、夹爪 (g{0,1}) 与碰撞标记 (c{0,1})（Sec. 3.1, PDF p.4）。策略每次预测下一 keyframe，运动规划器移动到目标位姿，直到任务成功或达到最大步数。

4.2 对象 grounding 热图

对第 (i) 个目标框中心 (x_i^b)，构造截断高斯（Eq. 2, PDF p.5）：

p_i(x)=(-). ]

多个对象先平均再归一化（Eq. 3, PDF p.5）：

[ H^{gt}(x)=, H_{avg}(x)=_{i=1}^N H_i^{gt}(x). ]

PaliGemma 的图像 token 按 patch 位置重排为二维网格，经 convex upsampling 恢复到输入图像分辨率，使用 cross-entropy 监督。这使输出仍然是“图像中的概率分布”，而非无空间结构的坐标向量。

4.3 3D 平移动作

把点云从 top/front/right 投影为图像 (I_v)，VLM 产生热图 (H_v)。对工作空间中的候选 3D 网格点 (q)，投影到各视图 (_v(q))，综合得分可写为

[ s(q)=_{v{top,front,right}} H_v(_v(q)), q=_q s(q). ]

论文文字说明用三个视图回投影来估计所有 3D grid points 的分数（Sec. 3.3, PDF p.5），但没有在正文给出独立编号公式；上式是对其流程的忠实形式化，不是新增算法。

4.4 多头动作损失

训练目标（Eq. 4, PDF p.6）：

[ L=L_{trans}+L_{rot}+L_{gripper}+L_{collision}. ]

平移和三轴旋转使用交叉熵，gripper/collision 使用二元交叉熵。位置热图提供密集监督；其余离散头由全局/局部 token 预测。

4.5 伪代码

预训练：
  for (image, text, boxes) in RoboPoint-120K:
      H_gt = normalize(mean(truncated_gaussian(box centers)))
      image_tokens = PaliGemma(image, text)       # SigLIP 与 token embedding 冻结
      H_pred = ConvexUpsample(reshape(image_tokens))
      optimize CE(H_pred, H_gt)

机器人微调/推理：
  point_cloud = fuse_calibrated_RGBD(observation)
  views = orthographic_render(point_cloud, top/front/right)
  heatmaps, image_tokens = BridgeVLA(views, instruction)
  translation = argmax_3D(backproject_and_fuse(heatmaps))
  local = tokens_at_heatmap_peaks(image_tokens)
  global = max_pool_each_view(image_tokens)
  rotation_3x72, gripper, collision = MLP(concat(local, global))
  planner.move_to(translation, rotation, collision)
  repeat until oracle success or H_max

6.1 RLBench

18 个任务，每任务 100 expert demonstrations；每个任务二元成功，25 trials/task，最多 25 action steps。作者训练 BridgeVLA 五次（Sec. 4.1.1, PDF p.7）。主指标为 18 任务平均成功率与平均排名。它测试复杂操控，但训练/测试对象相同，重点不是开放世界类别泛化。

6.2 COLOSSEUM

从 RLBench 扩展 20 个基础任务与 12 类未见扰动，共 20,371 个 task-perturbation instances；另含原 RLBench variation 和“All Perturbations”组合设置。每个扰动下评估 3 个未见 instances，任务各 25 trials。BridgeVLA/RVT-2 重训三次，其他基线来自 benchmark 论文（Sec.4.1.2 pp.7–8；App.B.3 p.16）。

6.3 GemBench

训练 16 tasks/31 variations、七类基础动作；测试 44 tasks/92 variations，分 L1 新位置、L2 新刚体、L3 新关节物体、L4 新长程组合任务。BridgeVLA 使用 5 seeds，每个 seed 每个 variation 20 trials（Sec.4.1.3 pp.8–9；App.B.4 p.16）。

6.4 真实机器人

Franka Research 3 + ZED 2i，13 tasks，每任务 10 expert trajectories；七种设置：Basic、Distractor、Lighting、Background、Height、Combination、Category。Table 4 的 Basic 每方法每任务 10 trials；后六种设置只比较 RVT-2、无预训练 BridgeVLA 与完整 BridgeVLA（Sec.4.2 pp.9–11）。

7.1 三个主 benchmark 的总体结果

7.2 GemBench：五指标 × 七方法完整矩阵

均为成功率%；± 数字按原表抄录，论文未在 Table 3 明确说明是标准差还是标准误。L4 是最难的长程组合任务。

来源：Table 3, PDF p.9。BridgeVLA 的平均第一主要由 L2/L3 驱动；L1 不是最优，L4 更是 0.0，落后 3D-LOTUS++ 17.4 pp。因此“overall SOTA”不能解释为长程规划能力领先。

7.3 COLOSSEUM：14 种扰动完整矩阵

来源：Table 2, PDF p.8。BridgeVLA 在 14 个 setting 中 13 个排名第一，唯一明确失手是 Distractor：51.8 vs RVT-2 60.8，低 9.0 pp（−14.80%）。作者叙事强调 13/14，但这个失手提示热图在相似干扰物存在时仍会错误 grounding。

7.4 RLBench 方法谱系与消融

来源：BridgeVLA Table 1 p.6 与 Appendix A p.16；早期速度也在 RVT/RVT-2 的 Table 1/I 中读取。BridgeVLA 的成功率最高，但推理频率低于 RVT-2 的 20.6fps 约 76.9%；且其 20h 依赖 48 H100，不能用“0.83 days”掩盖硬件规模。

7.5 真实机器人基础设置

13 tasks × 10 trials：SpatialVLA(50 demos) 28.5%，SpatialVLA(10) 3.1%，π0 3.8%，ACT 22.3%，RVT-2 90.0%，BridgeVLA 96.9%（Table 4, PDF p.10）。BridgeVLA 相对 RVT-2 +6.9 pp；相对同为 10-demo 的 SpatialVLA +93.8 pp。可是 SpatialVLA 原论文在 1.1M episodes 预训练、不同动作表示/平台上评估，移植到此处的微调配置是否最优未充分说明，因此该差距同时测量方法与复现配方。

8.1 输出空间：热图是最强因果消融

参数量近似的直接坐标回归头把 RLBench 88.2% 降至 31.4%，即 −56.8 pp；作者还报告直接回归必须把 batch 提到 192 并仔细搜索 learning rate，而热图版本 batch 64 也能稳定训练（Sec.4.3, PDF p.11）。这支持三条机制：热图监督更密、3D→2D 投影提供空间先验、输入/输出共享二维拓扑。

8.2 输入空间：更多 3D 信息反而破坏 VLM

加入 3D convolution 编码每像素位置，成功率 88.2→56.2（−32.0 pp）。论文将其归因于预训练图像 feature distribution 被改变。这个消融重要，但还缺少 normalization、adapter-only、冻结/解冻比例等中间点，因此尚不能断言“所有显式 3D feature 都有害”，只能说作者这套融合方式有害。

8.3 预训练：语义泛化收益只有图，没有数表

Fig.3（PDF p.11）显示去掉 2D heatmap 预训练后，Combination 与 Category 均显著下降，甚至不及 RVT-2；完整模型在 Combination 的视觉条约约 0.64，而无预训练接近 0.04。由于图中无精确数值标签，报告不把像素估读当作论文数字。能推出“预训练对语义 OOD 重要”，不能计算可信 pp 提升或误差条。

8.4 数据量相变与内部口径冲突

Table 12（p.24）中 3 demos 为 124/130=95.38%，10 demos 为 126/130=96.92%，只差 1.54 pp；主要差异集中在 wolf-upper-drawer（7/10→9/10）。但摘要写 3 demos 为 96.8%，正文写 95.4%，表格可复算为 95.38%。因此“3 demos 达 96.8%”不应照抄；有效结论是按附录数据约 95.4%。

8.5 超参数敏感性：论文未形成曲线

Table 5 只给最终点：pretrain lr 5e-5/batch384；RLBench/COLOSSEUM/GemBench lr 8e-5，batch 192/192/160；real robot lr2e-5/batch192。未报告 (,p_{min})、grid resolution、正交视图数量、72-bin 改为 36/144、convex upsampling 深度、冻结层比例、数据规模的系统 sweep。直接回归版本声称做过 grid search，却未公开网格和失败点，无法判断 31.4% 是否是公平最优。

10.1 PerAct：把动作变成 3D voxel 检测

解决什么。 PerAct 用 voxelized RGB-D 与 Perceiver Transformer，把下一动作当作三维网格中的分类；18 RLBench ×249 variations，25 episodes/task。原论文 Table 1（PDF p.7）显示其对 C2FARM-BC 的平均提升为 10-demo 1.33×、100-demo 2.83×。

遗留缺口。 voxel 计算昂贵；后续统一复评中平均成功率 49.4%，训练 16 days、4.9fps（RVT Table 1, PDF p.5）。高精度 insert peg/stack cups/place cups 近零。

BridgeVLA 如何回应。 保留“输入与动作同空间”的核心，但把三维 voxel 换成三个二维热图，并利用 VLM 语义。

设计传递。 keyframe 提取规则、72-bin 旋转分类、gripper/collision 头都直接继承 PerAct；BridgeVLA 的新意是接口对齐而非重新定义控制问题。

10.2 RVT：用正交视图代替重 voxel

解决什么。 RVT 从点云渲染 virtual views，用多视角 Transformer 与热图回投影预测 3D 平移。RLBench 62.9%，相对 PerAct 49.4% 提升 27.33%；训练 1 day vs16 days，推理 11.6 vs4.9fps（RVT Table 1, PDF p.5）。

遗留缺口。 精细插入仍弱：insert peg 11.2±3.0，place cups 4.0±2.5；多视图手工选择，缺乏开放语义。

BridgeVLA 如何回应。 几乎直接采用 top/front/right 投影与热图回投影，再将视觉处理器升级为 PaliGemma，并用文本条件热图预训练。

设计传递。 BridgeVLA 的“2D bridge”并非凭空出现，几何骨架来自 RVT；真正新增的是把这个骨架变成 VLM 可接受的预训练/微调接口。

10.3 RVT-2：精度与系统协同

解决什么。 RVT-2 加入 location-conditioned rotation、convex upsampling、mixed precision 等，RLBench 从 RVT 62.9% 提到 81.4%，训练 0.83 day、20.6fps（RVT-2 Table I, PDF p.6）；insert peg 从 11.2 提至40.0，place cups 从4.0提至38.0。

遗留缺口。 仍是非 VLA 专家，语义与 OOD 指令能力有限；论文自身指出只看当前时刻，缺少历史，长任务受限（RVT-2 limitations, PDF p.8）。

BridgeVLA 如何回应。 复用 convex upsampling 与多视图热图，把 PaliGemma 的 language-conditioned image tokens 放入同一结构。

设计传递。 BridgeVLA 的 RLBench 基线 81.4 就是 RVT-2；核心提升 6.8 pp 更像“给高效 3D policy 加语义 backbone”，而非替换所有控制模块。

10.4 SpatialVLA：显式 3D 位置注入的 VLA 路线

解决什么。 SpatialVLA 用 Ego3D Position Encoding 和 Adaptive Action Grids，在 1.1M real-world episodes 上预训练。其 LIBERO Table III（PDF p.7）平均 78.1±0.7%，优于 fine-tuned OpenVLA 76.5±0.6；L1 Spatial 88.2±0.5。

遗留缺口。 显式 3D position token 改变 VLM 图像表示，动作仍以 token/grid 表示；迁移到 BridgeVLA 真实任务、10 demos 配置时 Basic 仅 3.1%，50 demos 也只有28.5%（BridgeVLA Table 4, p.10）。

BridgeVLA 如何回应。 反向选择“不向 backbone 注入 3D 坐标”，只输入看起来像图像的正交投影；Table1 的 w/pos 消融直接给出 88.2→56.2。

设计传递。 两者都认为空间表示是 VLA 核心，分歧在接口：SpatialVLA 让 VLM 接受3D，BridgeVLA 把3D重新编码成VLM原生2D。

10.5 非线性技术演进树

                     ┌─ VLM / web-scale semantics ── OpenVLA, π0, SpatialVLA
                     │                                  │
PerAct: voxel Q-map ─┼─► 同空间动作检测                 ├─ Ego3D + action tokens
    │                │                                  │       ↓ 输入分布偏移
    │                └─► RVT: 3D→multi-view 2D heatmap ─┼─► BridgeVLA
    │                           │                        │   PaliGemma image tokens
    │                           ▼                        │   + object heatmap pretrain
    └──────────────► RVT-2: convex upsampling/精度/系统 ┘   + 3-view backprojection
                                 │
                                 └─ 外部 motion planner / keyframe execution

演进动力从“用三维网格提高样本效率”转向“降低 3D 计算成本”，再转向“接入预训练 VLM 语义”。真正转折不是模型更大，而是发现表示接口本身就是归纳偏置：同样的 3D 信息，直接注入会破坏预训练，投影—热图桥接则可复用既有表示。

10.6 跨论文对标

11.1 真正贡献

1. 接口而非模块堆叠。 BridgeVLA 的关键不是再加 3D encoder，而是同时对齐输入（3D→2D）和输出（动作→2D heatmap）。
2. 预训练目标与下游头同构。 用语言条件 object grounding 先训练 heatmap 能力，避免下游突然要求 VLM 输出陌生结构。
3. 系统性证据。 三个仿真 benchmark +13 真实任务说明优势不局限于单一 RLBench；消融幅度 32–56.8 pp，远大于主榜 2–7.3 pp。
4. 反直觉发现。 显式 3D position feature 反而伤害性能，说明“大模型接新模态”的关键是分布兼容，而非信息量单调增加。

11.2 可复用设计

• 对任何预训练 backbone，先把新模态翻译成它熟悉的 token topology，再做下游任务；这比直接拼接坐标更稳。
• 输出头最好与输入共享空间结构：视频动作可用时空 tube heatmap，导航可用鸟瞰 occupancy/action map，网页 Agent 可用 screenshot element heatmap。
• 预训练代理任务应和下游解码器同构；如果下游要 keypoint，就先做开放词汇 keypoint/grounding，而非只做 next-token。
• 诊断新增特征是否有害时，应比较同参数量 adapter、冻结比例和 feature distribution shift，而不只比较“有/无”。

11.3 迁移潜力

在长视频因果预测中，可以把“未来可操作位置”预测成时空热图，再由结构化头输出事件；在审核多模态表征中，可把 UE/AE 中的高层风险语义对齐到 frame/token saliency map，而不是把所有向量简单 concat；在 Agent GUI 操作中，文本条件 heatmap 与点击坐标天然同构。不过二维桥接对真正 3D 拓扑、遮挡和接触动力学有上限，最终可能需要保留 VLM-compatible 2D 主干，再附加不破坏分布的小型3D残差模块。

14.1 理论

• 对齐度量。 固定PaliGemma与训练数据，对比 raw point tokens、Ego3D、三视图RGB、三视图RGB+低秩3D残差；测各层CKA/MMD到原始预训练图像分布，并回归RLBench成功率，检验“越像预训练分布越好”是否成立。
• 热图密集监督机制。 用同参数量网络比较坐标MSE、离散3D grid CE、2D Gaussian heatmap CE、optimal-transport heatmap；报告梯度SNR、样本复杂度曲线和最终SR，分离拓扑对齐与loss密度。
• 投影视图充分性。 控制视图数1/3/6/自适应，测遮挡率与条件互信息，特别在Place Cups/Insert Peg上验证失败是否由可见性上界决定。

14.2 工程应用

• 等GPU-hour数据效率。 BridgeVLA、RVT-2、SpatialVLA统一8×H100和相同wall-clock，轨迹数取1/3/10/50；报告SR、GPU-hour、峰值显存、端到端含planner延迟，得到Pareto frontier。
• 同backbone接口消融。 PaliGemma分别接Ego3D、point adapter、orthographic heatmap，冻结/解冻比例一致；这能公平回答BridgeVLA胜在backbone还是接口。
• 闭环扰动。 在运动过程中移动目标、施加碰撞和深度噪声，对比keyframe+planner与diffusion action chunk；报告恢复时间与失败模式，测试0.21s网络推理是否足够闭环。

14.3 新兴方向

• 历史与长程。 在GemBench L4比较无记忆BridgeVLA、token cache、JEPA式状态预测、LLM task planner，固定低层策略；指标除成功率外加入subgoal completion与错误恢复。
• 开放类别动作关键点预训练。 对比box-center grounding、affordance keypoint、human hand-object contact、synthetic robot keypoint四种预训练，专门测Category OOD，验证作者提出的“对象中心≠操作关键点”。
• 不确定性路由。 用热图熵、跨视图一致性和ensemble variance触发“请求帮助/换视图/重规划”，与始终执行策略head-to-head，报告安全失败率和额外时延。