2026-08-14 VLA 模型太多了？从 OpenVLA 到 π0.7，一篇看懂 VLA

作者：毛不毛     出品：具身智能前沿

导读

VLA把图像、语言和机器人状态变成动作，但不同模型并不采用同一种结构：有的让改造后的VLM直接生成动作Token，有的再连接连续动作专家。本文沿完整数据流拆开VLM、多相机、状态、动作生成和底层控制，并重新定位OpenVLA、π系列、GR00T及国产VLA的能力与开放边界。

VLA 不是“会聊天的机器人”，它直接决定下一步怎么动

视觉—语言—动作模型（Vision-Language-Action Model，VLA），是一类把视觉观测、语言指令和机器人状态映射成控制动作的模型。

说白了，人对机器人说“把红色杯子放进水槽”，摄像头负责让它看见桌面，语言告诉它任务，关节状态告诉它自己的手在哪里，模型再输出一段机械臂动作。

这才是 VLA 的基本数据流：

图像 + 语言 + 本体状态 → 动作序列

这里的“本体状态”也叫 proprioception，包括关节角、末端姿态、夹爪开合、底盘位置等。少了它，机器人有点像只看后视镜开车：知道外面发生了什么，却不清楚方向盘已经打到哪儿。

训练时还要多一项——人类示范或历史轨迹中的正确动作。Hugging Face 的 LeRobot 数据工具，会把多相机视频、传感器状态和动作放进同一条时间线。Xiaomi-Robotics-0 的公开示例也很直观：主摄像头、腕部摄像头、文字指令和 proprio_state 一起送入模型，输出的不是一句话，而是未来若干步组成的 action chunk。

VLA 真正难的地方，不是认出杯子，而是把“杯子”翻译成一串不会摔杯子的动作。

名字很新，底层问题却很经典。从统计学习的角度看，VLA仍是在有限示范中学习一个条件关系：

P（动作｜图像、语言、本体状态、历史观测）

也就是给定机器人此刻看到、听到和感受到的条件，估计接下来哪些动作更可能完成任务。损失函数、参数估计、泛化与分布偏移，这些问题和经典统计学习一脉相承；变化在于输入已经从人工设计的低维特征扩展到图像、语言和长时序状态，输出也从一个标签变成连续动作分布。

RT-2 是理解这条路线的重要坐标。它把机器人动作表示成类似文字的 token，让视觉语言模型已有的语义知识参与机器人控制。后来的 OpenVLA 延续了这条思路，并把权重、训练和微调链路进一步开放。

但动作 token 也有代价。逐个生成可能慢，离散化也会损失精度。于是 OpenVLA-OFT、π0、GR00T 等路线开始大量采用动作分块、Diffusion 或 Flow Matching，一次预测连续动作。

名字很多，主问题没变：看懂任务，然后稳稳地动。

一张 VLA 里，通常要完成三层工作

这里说的是三层功能，不是三个必须彼此独立的模型。同一个改造后的VLM可以同时承担视觉语言理解和动作token生成；另一类VLA则把连续动作生成拆给动作专家。

第一层是视觉语言理解。视觉语言模型（Vision-Language Model，VLM）不是某个名叫“VLM”的固定产品，而是一类同时处理图像和语言的模型，在VLA中负责看懂场景、理解指令并形成语义特征。

Qwen-VL这类VLM本身就以Transformer为核心，通常还包含视觉编码器和视觉—语言连接模块：RGB图像先变成视觉token，再与文字token一起交给语言模型Transformer处理。因此，VLM描述的是模型承担的功能，Transformer描述的是它采用的网络架构，两者不在同一个层级。

多相机有两种常见接法：先拼成一张大图，或者每路图像分别编码，再用输入顺序、相机标签或视角 embedding 区分。后者更灵活，但多图语义融合不等于几何对齐。Transformer可以学到“主视角里的杯子”和“腕部视角里的杯沿”有关，却不一定显式算出它们在同一个三维坐标系中的位置。

很多RGB型VLA依靠固定相机和同步示范，学习隐式的“视角—状态—动作”统计关系：当画面与关节状态呈现某种组合时，下一步通常是什么动作。这里的“统计关系”不是只比较图像和动作，还包括语言、本体状态与历史观测。模型可能会做，却未必能输出一套明确的三维几何推导。

相机被重新安装、碰歪，或镜头参数改变后，原来的关系就会失准。这叫标定变化带来的分布偏移。标定，是测量相机成像参数及其与外部参考坐标系几何关系的过程；变化后的输入不再符合训练时的数据分布，夹爪便可能抓偏。

专业地说，相机外参是相机坐标系与指定参考坐标系之间的六自由度刚体变换，包括三维旋转和平移；使用时必须明确参考坐标系和变换方向。相机位姿通常说的是“相机在参考坐标系中处于哪里、朝向哪里”；视觉投影公式里的外参常表示反方向的“参考坐标如何变到相机坐标”，二者可能互为逆变换，不能只看矩阵名字。

腕部相机是安装在机械臂末端、会跟着夹爪移动的那一路；固定在桌边或房间里的通常叫外部相机。广义的手眼标定（hand–eye calibration），就是求相机与机器人指定坐标系之间的刚体变换，但有两种安装方式。

眼在手上（Eye-in-Hand）时，相机随机械臂运动，通常标定相机与末端执行器之间的固定关系。相机先估计物体在相机坐标中的三维位置，再通过这段变换，计算物体相对夹爪或机器人基座的位置。只有RGB像素还不够；绝对三维位置还需要深度、双目、三角测量或其他测距信息。

眼在手外（Eye-to-Hand）时，相机固定在工作区，通常标定相机与机器人基座之间的关系。它并非低配方案：外部相机视野大、画面稳定，适合全局定位和避障；腕部相机离目标近，适合精细抓取与插入。工业系统常把两者组合起来——外部相机看全局，腕部相机看细节。

这里的“机器人基座”是机器人身上的参考坐标系。固定机械臂指底座固定在桌面、地面或机架上，不是“只有一条机械臂”；机械臂装在轮式底盘、人形或四足机器人上时，基座坐标系则会随整机相对世界移动。

标定通常求特定安装条件下相对固定的几何参数，定位和机器人运动学则计算运行时不断变化的位姿。因此，移动机器人使用Eye-to-Hand时，不是每走一步都重新标定，而是持续更新基座在世界中的位置。只靠里程计累加会产生漂移；只有相机被碰歪或安装关系改变时，才需要重新标定或在线估计外参。

所谓几何对齐，就是借助这些标定结果、深度和运动学，把不同相机看到的三维点转换到共同的基座或世界坐标系。它比Transformer中的语义关联更明确，但也更依赖标定质量、时间同步和传感器精度。

但 VLM 不是所有传感器的总入口。

深度图和点云如果要用，通常有三条路：把深度映射成图像交给视觉编码器；用独立的深度或3D编码器生成token，再与RGB特征融合；或者只在训练时用深度作空间监督，部署仍然只吃RGB。通用VLA多以RGB作为语义主输入，不代表机器人很少使用深度；精密抓取、避障和导航中，深度常进入独立3D模块，而不是直接塞进VLM。PointVLA就是把点云特征注入预训练动作专家的一种尝试。

关节角、末端姿态、夹爪开合这些本体状态更特殊。它们是连续数值，一般先归一化，再由 MLP 投影成状态 token。之后既可以进入 VLM，帮助模型理解“我的手现在在哪”；也可以绕过 VLM，直接交给动作专家。

怎么接，并没有统一答案。π0.5 会把当前状态量化成离散 token 放进 VLM 提示；OpenVLA-OFT 将状态投影成连续嵌入；GR00T N1 则把状态嵌入直接送给动作头。2026 年 8 月一项基于 π0.5 的受控实验比较了五种接口，也发现不同任务偏好的入口并不相同。

第二层是动作生成。这里有两类典型结构，但不一定对应两个独立模型。

RT-2、原版 OpenVLA 更接近VLM直接生成动作 token：像续写文字一样，输出量化后的机器人动作。π0、GR00T 和 OpenVLA-OFT 则更接近VLM加连续动作专家：VLM形成“目标是什么、物体在哪”的语义上下文，Flow Matching 或 Diffusion 动作模块再结合机器人状态，生成未来一段动作。

动作专家也常用Transformer，但它不因此变成VLM。就像Qwen-VL可以用Transformer理解图像和文字，动作专家也可以用Transformer接收语义特征、机器人状态和噪声，再预测连续控制轨迹。同一种网络结构，承担的是不同职责。

所谓“VLM直接生成动作”，通常是把连续动作量化成token，再让语言模型解码器像续写文字一样生成动作token；所谓“独立动作专家”，则是VLM先提供语义上下文，另一个连续动作模块再生成轨迹。“独立”也不代表互不相干：π0里的VLM专家和动作专家会交换特征并联合训练，并不是VLM写完一句计划，再调用一个毫无关系的模型。

末端还有一层经常被省略：底层控制器。VLA输出关节目标、末端增量或动作块；逆运动学、插值、安全限制和电机闭环再把目标变成真实运动。让VLA直接碰电机电流？多数系统不会这么莽。

所以，更完整的数据流有两个分支：

RGB、语言与状态条件 → 改造后的VLM → 动作token → 底层控制器；或者VLM语义特征＋状态条件 → 连续动作专家 → 动作块 → 底层控制器。

第三层往往最不显眼：机器人数据与本体适配。它未必是一块独立网络，却决定前两层能否落到具体机器人上。不同机器人关节数不同，相机位置不同，坐标系也不同。同一句“向前”，落到双臂、人形和移动机械臂上，根本不是一回事。

所以，很多新模型看起来骨架相似，真机效果却差得很远。差距可能藏在数据清洗、动作归一化、相机标定、控制频率，以及失败后有没有人接管并把修正过程重新喂回训练。

这也是国产 VLA 值得单独看的地方。它们大多没有从 Transformer 开始另起炉灶，而是使用成熟的 VLM、连续动作生成和跨本体学习范式，把投入压在真机轨迹、本体生态和部署工程上。

比如智元 GO-1 绑定 AgiBot World 数据生态，官方披露的数据覆盖超过 100 万条轨迹、100 多台机器人和 1000 多个任务场景；X-VLA 用本体专属软提示，让统一 Transformer 区分自己正在控制哪种机器人；宇树 UnifoLM-VLA-0 则公开了训练、推理、权重以及 12 类 G1 操作数据。

这不是一句“套壳”能解释的。当然，也不能因为接了自有数据，就把公共架构重新包装成首创。

VLA 的竞争不是谁发明了每块积木，而是谁把积木、数据和机器人接成了闭环。

主流模型别排成一列，它们根本不在同一个货架

理解模型地图，最容易犯的错是把论文模型、可下载模型、商业闭源系统和开发框架一起排成绩。

先看三个主干坐标。

OpenVLA / OpenVLA-OFT 是开源研究基线。它有预训练权重、LoRA 和全量微调、从头训练与评测说明，适合研究者理解“怎样把 VLM 训练成 VLA”。OFT 又补上连续动作、多图输入和高频双臂控制。它不一定代表能力天花板，却是很好的透明参照物。

π 系列代表通用操作和泛化路线。公开可下载、可微调的核心版本仍是 π0.5，它强调在陌生环境中完成多阶段任务。之后的 π0.6 更关注可靠性和吞吐，π*0.6 加入从自主经验中强化专家策略的路径，2026 年 4 月发布的 π0.7 又把重点推向组合泛化：重新组合学过的技能，执行训练中没有直接出现的任务。

问题来了：π0.7 更新，却没有像 π0.5 那样开放公共权重。能力最新和开放程度最高，从来不是一回事。

GR00T N1.7 代表英伟达的人形机器人与工具链路线。当前 Early Access 版本提供 3B 基础权重、推理和微调代码，结构是 VLM 加 Diffusion Transformer 动作头，并与 Isaac 仿真、评测和部署生态连接。它能下载、能后训练，但其完整预训练数据并未全部公开，也不能叫“从头可复现”。

再往外一圈，是值得知道但不适合直接拿来选型的模型。

Helix：Figure 的闭源快慢系统，强调低频语义理解与高频动作控制。

Gemini Robotics：Google DeepMind 的闭源机器人模型，代表大模型推理、规划与控制结合的方向。

GO-1：智元的跨本体数据和机器人生态路线。

Xiaomi-Robotics-0：4.7B 参数，强调实时异步执行，已开放权重、推理、评测和后训练代码。

LingBot-VLA：用大规模、多本体真机数据训练通用策略；初代论文披露约 2 万小时、9 种双臂构型。

X-VLA：用软提示解决不同本体的数据与动作空间差异。

UnifoLM-VLA-0：通用 VLM 继续训练成具身模型，并公开一批 G1 数据和训练链路。

还有两个名字要移出“模型排行榜”：LeRobot 是数据、训练、硬件与评测工具链；StarVLA 是可替换骨干和动作头的模块化研究框架。它们能承载模型，但不是和 π0.5 同层级的基础模型。

刚才这份名单还是长。没办法，行业正在发烧，新名字长得比统一评测快。

真正有用的不是记住每个名字，而是看到名字时先问：它是一份论文、一个权重、一个可微调模型，还是一套工具？

“开源”至少要拆成六层，少一层都可能卡住

具身智能里的“开源”很松，至少要拆成六层：架构、推理代码、模型权重、微调代码、预训练配方和训练数据。只给论文不等于能运行，只给权重不等于能微调，能微调也不等于别人可以从头复现。

OpenVLA 接近“可复现型开放”；GR00T N1.7、π0.5、Xiaomi-Robotics-0 更适合称为“开放权重且支持微调”；π0.7、Helix、Gemini Robotics 主要是能力坐标。许可证还要另看，代码用 Apache 2.0，不代表权重和数据自动获得相同授权。

所以我不太想给出一个“2026 最强 VLA”结论。不同模型控制不同机器人，使用不同数据，在 LIBERO、ALOHA、家庭长任务或人形全身控制上接受不同考试。把这些数字并成一张总榜，表格很漂亮，判断会变薄。

所以，看到一个新的机器人模型时，先别急着问它是不是“最强”。先看它使用什么输入、怎样生成动作、控制什么机器人，再看权重、训练链路和数据究竟开放到哪一层。

模型名字还会继续变，真正不容易过时的，是这套判断顺序。