阅读时间大约9分钟（3534字）

6小时前只看RGB够吗？VLA如何获得真正的3D空间能力

来源：豆包

作者：毛不毛出品：具身智能前沿导读视觉语言动作模型（VLA）继承了多模态大模型强大的开放词表理解能力，但在真实物理世界中，仅...

作者：毛不毛出品：具身智能前沿

导读

视觉语言动作模型（VLA）继承了多模态大模型强大的开放词表理解能力，但在真实物理世界中，仅靠 2D 像素统计关联往往无法提供厘米级操作所需的度量深度与刚体几何。本文深入拆解隐式多摄融合、以 PointVLA为代表的显式点云注入、训练期 3D 监督三条核心演进路径，并结合机器人手眼标定与物理坐标系变换链，全面梳理具身大模型在三维空间感知中的工程权衡与选型边界。

机器人看到的是杯子，还是杯子的照片？

具身智能圈子里有一个屡试不爽的“整蛊实验”：

把一张 1:1 打印着逼真马克杯的照片平铺在桌面上，让基于纯 2D 视觉的 VLA 模型执行“抓起杯子”的指令。

很多时候，机械臂会毫不犹豫地冲着照片上的杯把手直直插下去，夹爪在桌面死死摩擦。

图片来源：PointVLA 论文 (arXiv:2503.07511)

这就是纯 2D 视觉在机器人操作中的第一道物理墙。

视觉语言大模型（VLM）学会了“杯子”的概念、材质与语义关系，但这套能力建立在投影到成像平面的二维像素阵列之上。

真实物理世界充满单目尺度歧义（Scale Ambiguity）：一个放在近处的小号玩具杯，与一个放在远处的大号保温杯，在单目相机成像平面上可能拥有完全一致的像素边界与纹理特征。

机器人要完成稳定抓取、对齐装配或避开障碍物，需要的不是一张像素分布概率图，而是末端夹爪相对于目标几何中心的六自由度（6-DoF）刚体位姿变换。

VLA 要真正跨越这一步，目前行业里分化出了三条截然不同的输入路线。

路线一：隐式多摄融合，纯 RGB 的上限在哪里？

最容易想到的直觉方案，是不增加任何额外传感器，直接加装更多角度的 RGB 相机。

目前主流开源与商业方案（如 OpenVLA-OFT、π0 以及各类双臂 ALOHA 构型）最经典的硬件配置，通常是 1 个固定在头顶或胸前的全局主相机，搭配 1 到 2 个安装在机械臂手腕上的腕部相机（Eye-in-Hand）。

数据流的处理方式相当朴素：

多路 RGB 画面各自通过视觉编码器（如 SigLIP 或 DINOv2）提取特征 Patch。将不同相机的视觉 Token 按固定顺序在序列维度拼接，与语言指令 Token 共同送入 Transformer 骨干网络。依靠 Transformer 的自注意力或交叉注意力机制，从海量人类遥操作轨迹中隐式学习“主视角看到了目标粗略方位、腕部视角看到了夹爪与把手贴近程度”的时空对应关系。

这种路线最大的好处是省事。

硬件成本极低，不需要昂贵的激光雷达或深度模组；对于透明玻璃杯、镜面不锈钢餐具这种令红外深度相机彻底失效的材质，纯 RGB 没有任何测距空洞。

很多人看到双臂 ALOHA 或 Mobile ALOHA 能用 3 个普通 RGB 摄像头完成穿针引线、装插头等毫米级精细活，常常会产生一个疑问：纯 RGB 真的缺精度吗？

答案其实藏在两个特定条件里：超近距离的手腕相机与高频闭环。

当手腕相机（Eye-in-Hand）随着机械臂推进到距离物体仅有 5 到 15 厘米时，单个像素对应的物理尺寸甚至小于 0.2 毫米；配合 30Hz 到 50Hz 的高频策略（如 ACT 或 Diffusion Policy），模型根本不需要知道物体在三维世界里的绝对度量坐标，它只需要不断消除夹爪与目标之间的相对像素残差，边走边修。

但这套精度是在极窄的“温室条件”下成立的。

一旦离开这层保护，纯 RGB 的代价是惊人的数据饥渴与脆弱的空间泛化：

空间外推能力极差

：模型是在用数万小时的示教数据，硬生生“背诵”出当前像素与关节动作的统计关联。如果训练集全是 75 厘米桌面上的轨迹，真机测试时把桌面垫高 3 厘米，或者把外部相机角度微调 5 度，由于缺乏显式的几何重投影，策略的成功率往往会发生断崖式下跌。

低频大模型的开环累积误差

：7B 级别的通用 VLA 受限于大模型推理延迟，控制频率通常只有 3Hz 到 5Hz，只能依赖动作分块（Action Chunking）一次性输出未来十几步轨迹。此时只要第一步的单目深度估计稍有偏差，开环执行就会迅速把误差放大，导致末端直接戳空或砸上桌面。

路线二：显式几何与点云注入，PointVLA 的“免重训”解法

既然隐式学习缺乏绝对空间尺度，第二种路线就是直接引入 3D 深度传感器（RGB-D 或 LiDAR），将像素显式反投影为三维点云。

但这在过去带来了一个巨大的架构困境：

现有的先进 VLA 绝大部分是在大规模 2D 图像-文本对（如 Open X-Embodiment）上预训练出来的。如果为了接收 3D 点云而把模型全部推倒、从头预训练一个 3D VLA，不仅算力成本高昂，还会白白丢掉 2D 互联网数据沉淀下来的常识泛化能力。

清华等机构发表在 IEEE RA-L 的 PointVLA 提供了一个极具代表性的解题思路。

PointVLA 论文详情： https://arxiv.org/abs/2503.07511 PointVLA 项目主页： https://pointvla.github.io/

PointVLA 的核心做法可以概括为两点：

冻结原生动作专家

：直接复用预训练好的 2D VLA（以 OpenVLA 为底座），完全不破坏原有的语义理解与基础控制先验。

Skip-Block 模块化注入

：设计轻量级的 3D 几何特征注入模块。研究团队通过分析发现，动作专家内部不同 Transformer Block 对 2D 特征的依赖程度并不相同；他们只在那些对 2D 特征利用率较低的 Block 中通过门控机制注入点云特征。

图片来源：PointVLA 论文 (arXiv:2503.07511)

这种架构设计的威力在几类典型场景中体现得非常直观：

真假物体辨别

：面对平铺在桌上的打印照片，点云在高度维度上是一块绝对平整的平面，模型能瞬间识别出这不是可抓取的实体，彻底免疫 2D 视错觉。

未见高度自适应

：当物体被放置在训练集从未出现过的高度平台时，显式点云自带真实度量坐标，机械臂无需重新训练就能准确将末端抬升到对应高度。

少样本多任务学习

：在 4 个不同的物理操作任务中，每个任务仅需 20 条示范轨迹，就能快速完成策略适配。

动态长程输送

：在移动传送带的分拣装箱任务中，实时 3D 点云流能够为夹爪提供持续的时空位置跟踪。

图片来源：PointVLA 论文 (arXiv:2503.07511)

把 3D 几何变成显式特征直接送进策略，确实解决了空间尺度的确定性问题。

但天下没有免费的午餐。显式点云将算法层面的几何压力，全部转移到了硬件工程与预处理管线上。

路线三：训练期 3D 监督，推理零开销的折中路线

在“纯靠隐式暴力学习”与“推理期硬吃点云”之间，演化出了第三条折中路线：训练期 3D 监督（Privileged 3D Distillation）。

这套思路的设计逻辑非常务实：

离线训练阶段

：利用仿真环境中的真值深度图，或者在数据采集车上配置昂贵的多线激光雷达与大参数量单目深度估计模型（如 Depth Anything），构造高质量的 3D 几何辅助监督信号。

特征对齐

：让 VLA 视觉编码器的中间层特征不仅要预测动作，还要同时预测表面法向量、物体 3D 边界框或深度分布，强迫 2D 骨干网络在潜在空间中形成对三维结构的几何感知。

真机部署阶段

：完全切断 3D 监督分支，去掉深度传感器，只给模型喂普通的单目或双目 RGB 图像。

这种方案在端侧部署时极具吸引力。

它不需要在低功耗工控机上运行庞大的点云下采样与邻域搜索（KNN/FPS）算法，避开了点云预处理带来的 20-50ms 额外延迟，同时消除了深度传感器在工业环境下的硬件采购与故障成本。

但它的边界同样分明。

训练期蒸馏本质上是让模型在脑海中“脑补”深度。面对完全超出先验分布的未知物体几何、极端强光漫反射，或者恶意的平铺照片欺骗时，它依然受制于单目 RGB 的物理感知上限。

工程底座：手眼标定、坐标系与被忽视的物理误差

无论采用哪条感知路线，只要涉及三维空间操作，很多从纯软件大模型转入具身领域的工程师最容易忽视的，就是经典机器人学的刚体运动学底座。

很多策略在仿真器里表现完美，一到真机部署就频繁砸桌子或抓空，根源往往不在大模型参数，而在坐标系统一与标定漂移。

一个完整的机器人工作空间中，存在多层严格嵌套的坐标系树（Coordinate Frames）：

world / map

：全局世界坐标系或室内建图坐标系。

base_link

：机器人本体底盘或移动基座几何中心坐标系。

arm_base

：机械臂安装法兰基座坐标系。

end_effector

：机械臂末端执行器（夹爪中心）坐标系。

camera_link

：相机传感器光学中心坐标系。

点云如果要被动作专家正确理解，必须经过齐次坐标变换矩阵，从相机的光学坐标系完整投影到机器人的基座坐标系下。

这里必须分清两种经典手眼安装形式的数学本质：

Eye-in-Hand（眼在手上）：相机安装在机械臂末端。相机在基座坐标系下的实时位姿随时间动态变化，其变换链为 T_base←camera(t) = T_base←end(t) · T_end←camera。其中 T_end←camera 是出厂或定期手眼标定求出的固定安装矩阵，而 T_base←end(t) 是由每个关节电机编码器读数经过正运动学（Forward Kinematics）实时解算出来的位姿。

Eye-to-Hand（眼在手外）：相机固定在工作台或车体上方，静态俯瞰整个操作区域。相机的基座外参矩阵 T_base←camera 相对固定，但视距较远，容易在近身精细操作时被手臂自身严重遮挡。