同样控制机械臂,写代码和 VLA 到底有什么不同?
统计 阅读时间大约8分钟(3077字)

2026-11-13 同样控制机械臂,写代码和 VLA 到底有什么不同?

来源:豆包
CaPtain-4B 生成操作程序,n0.5预测动作块。两边都是模型在作决策,区别藏在目标和操作。

作者:我不是毛毛     出品:具身智能前沿

导读

CaPtain-4B 这个多模态模型生成操作程序,π0.5 这个 VLA 模型预测动作块;两者最终都控制机械臂。区别在于操作决策怎样形成:前者通过程序调用工具、计算运动目标,后者学习从观测与任务到动作的映射。以积木抓放为例,本文讲清两个模型输出什么、执行系统怎样接手,以及它们怎样利用反馈。

先把两边的模型对齐

给机械臂一句指令:“把黄色积木放进木托盘。”无论采用哪种方式,都要接近积木、闭合夹爪、抬起并搬运。

先认清名称。CaPtain 是整套方法,CaPtain-4B 才是其中负责生成程序的模型。它基于 Qwen3.5-4B 训练,是能读取图像和文本的多模态大语言模型(MLLM)。CaPtain-Harness 是运行程序的执行环境,提供感知、测量和运动接口。

另一边,VLA 是视觉—语言—动作模型这类模型的名称,π0.5 是具体模型。openpi 则是包含其训练、推理及执行示例的代码框架。本文用 openpi 中 π0.5 的 LIBERO 配置和执行示例,说明动作块怎样接入机器人仿真环境。

以下是执行机制的对照,不是同条件性能测试:

e548190e-99b8-44a4-9451-57b08faba91c.png

7c01e7877d2372eac719c0adfbe46652.png

这里比较的“写代码”,是模型针对当前情况生成操作程序。VLA 的推理和执行同样要靠代码运行,不能根据系统中有没有 Python 来区分两者。

CaPtain 是沿着已有程序策略路线提出的一套新实现,结合了模型、执行环境和监督微调、多轮强化学习流程,并进行了仿真评测与真机演示。它并非首次提出“模型写代码控制机器人”:2022 年的 Code as Policies 已展示让语言模型生成程序、处理视觉结果并调用控制接口。

与工程师预先写好抓放流程相比,模型在这里承担了程序生成工作,视觉定位仍可继续使用。程序策略与“视觉引导”能够同时存在,前者讲操作逻辑怎样产生,后者讲视觉信息怎样参与操作。

CaPtain-4B:写出程序,算出目标,再调用运动接口

先看抓放中的一步:让夹爪移到积木上方。

CaPtain-4B 根据任务和图像生成代码,调用工具取得积木的三维位置,再根据测量结果计算夹爪的接近目标,调用运动接口执行。目标怎样得到,可以沿着测量结果、程序运算和接口调用追踪。

积木位置从哪里来?在 CaPtain 的 RGB-D 方案中,相机提供彩色图像和深度信息。CaPtain-4B 可以自己指出目标像素,也可以通过代码调用视觉模型:分割模型找出积木所在区域,指点模型给出目标像素。随后,几何计算结合对应深度、相机内参和标定关系,把图像中的点换算到机器人坐标系下,得到 x、y、z。

这一步既有视觉模型参与,也有坐标换算。它不是让 CaPtain-4B 凭一张普通照片,直接报出可供机械臂使用的精确三维坐标。

三维位置还不等于完整位姿。位姿包含位置与朝向,通常有 3 个位置自由度和 3 个旋转自由度;一个像素加深度只能确定空间中的点。物体朝向还需结合几何信息估计,Harness 的测量接口可以返回中心、尺寸,以及描述水平面内朝向的偏航角等信息。

程序再利用这些结果,选择夹爪抓哪里、朝哪个方向接近。下面是计算与调用的简化示意,变量代表已取得的测量及计划结果,省略了接近与检查步骤,并非完整抓取程序:

grasp_position = measured_position + grasp_offset
result = robot.move_to(position=grasp_position, quaternion=orientation)
ifresult["success"]:
 robot.move_to(gripper="close")

这段程序本身就在生成控制命令。模型决定使用哪些调用、怎样计算参数和检查结果;Harness 把 move_to 落实为笛卡尔运动,进行逆运动学求解、自碰撞检查和力监测,再由后端执行。

35558d88e0d4cdd0af8bf64de2273405.png

CaPtain-4B 并没有一个输入物体名就自动完成抓取的万能 grasp() 技能。抓取位置、接近方向和夹爪开合等决策,要通过它生成的程序组织起来。

为什么要采用程序形式?它让模型能够显式调用已有工具、执行计算,并根据结果组织下一步操作。例如,程序可以利用测量结果计算积木与托盘的偏移,也可以写出“运动调用成功后再闭合夹爪”的条件。排查失败时,还能沿着目标选择、计算结果和调用回执定位问题,而不只是查看最终动作数组。

这些是程序接口带来的工程便利,不代表生成的逻辑一定正确,也不能据此认定它比 π0.5 更快、更稳或更容易泛化。它还依赖感知、标定、工具接口和多轮调用,具体收益需要结合任务验证。

论文的真机记录展示了黄色积木入托盘:识别与测量、检查接触几何、接近、闭合夹爪、抬起后重新观察,再搬运、释放并验证结果。该真机模型经过目标机械臂的仿真适配,并非更换任意机械臂就能原样执行。

27eeecd21da493dc741fe8910bd407e9.png

上半部分为黄色积木入托盘,下半部分为根据颜色与容器形状理解指令的另一任务;演示视频经过缩短,图中时标不同于完整调用日志来源:CaPtain 论文 v1 HTML,真机操作图

π0.5:从观测预测动作,再交给执行端

同样要让夹爪接近积木,π0.5 的动作预测接收画面、任务与机器人状态,根据训练学到的关系给出下一段动作。

它不要求先调用独立工具求出“积木中心坐标”,再显式计算“夹爪上方目标”。相应的接近运动可以由预测的动作序列实现。这并不意味着模型没有利用物体位置信息,而是这些信息不一定作为可独立读取的物体坐标或计算步骤输出。

一个动作块,就是连续若干时间步的动作组成的数组。openpi 的 LIBERO 执行示例会把外部视角图像、腕部图像、末端位置与姿态、夹爪状态及任务文本送给模型,取得 actions,再把前面若干步放进队列,依次交给环境执行。

下面简化了示例代码,省略初始化与观测预处理;policy 表示所调用的模型策略:

ifnotaction_queue:
 chunk = policy.infer(observation)["actions"]
 action_queue.extend(chunk[:replan_steps])

action = action_queue.popleft()
observation, reward, done, info = env.step(action.tolist())

这段代码是开发者预先写好的执行循环,π0.5 返回的是其中的动作数组。队列用完后,再取得当前观测,请求下一段动作。

69e1e59dfd5b842d68a83fc4e53f6897.png

动作数组也不一定是电机力矩。不同本体与配置可能采用关节目标、末端运动等定义,还要经过对应的数据转换和控制接口。模型给出动作预测,执行系统负责按约定解释和落实这些数字。

至此,两条路径落到了同一个物理任务:CaPtain-4B 生成的程序可以计算目标并发出运动命令;π0.5 预测的动作经过执行端,也会使机械臂运动。主要差别是操作决策怎样得到,不是一个控制机器人、另一个不控制。

抓空以后,谁发现问题、谁决定重试?

假设夹爪闭合后抬起,却没有夹住积木,积木仍留在桌上。这是用于理解反馈的场景,并非上面演示的实测结果。

在 CaPtain 一侧,夹爪闭合或抬起的调用成功,不等于积木已被拿起。CaPtain-4B 还需要查看抬起后的新画面,或结合夹爪开度、物体位置变化等证据,检查积木是否随夹爪离开桌面。Harness 会返回成功标志、失败类别、具体结果和运动停止原因等信息,供模型生成下一段程序;程序内部也可以用条件判断处理返回值。

在 π0.5 一侧,新画面如果显示积木仍在桌上,模型就有机会预测新的接近或抓取动作。但是否会有效纠错,取决于它学到的行为,以及执行端何时送回新观测。上述 openpi 循环在当前队列耗尽后重新预测,不能把这套调度方式当成所有 VLA 的固定规则。

两边都有反馈入口,也都可能没处理好失败。程序可能只检查机械臂是否到位,却没检查积木是否随夹爪抬起;动作模型也可能在新状态下继续预测无效动作。理解闭环,要看输入了哪些证据、何时更新,以及策略怎样利用它们。

速度与学习,不能只从输出形式推断

CaPtain 的黄色积木入托盘真机案例用了 23 轮请求,到声明完成共 157.2 秒。这是 XR1 机械臂上包含推理、感知、运动和最终检查的任务时间,下降速度等运动参数也影响耗时,不能当作纯模型推理延迟。

动作块允许在两次模型预测之间连续执行若干步,但程序也能在一次调用中组织多步操作。没有相同硬件、任务、运动参数和成功标准下的测试,不能据此计算 CaPtain-4B 与 π0.5 谁快多少。

两种模型也都经过训练。CaPtain 的流程先用交互轨迹做监督微调,再做仿真中的多轮强化学习,让 CaPtain-4B 学会结合图像、程序调用与回执完成操作。π0.5 则利用机器人数据及其他任务数据训练,由动作专家学习生成连续动作块。两边都更新模型权重,“程序策略”并不等于无需学习。

接口还会限制可完成的动作。CaPtain 论文指出,其受保护的笛卡尔位置运动原语无法表达某些要求持续向下施力的擦拭任务;代码灵活不等于底层支持任意控制。π0.5 更换机器人时,同样要核对动作维度、坐标和状态接口。

模型之间可以对照,系统也可以组合

把前面的具体实现放在一起,区别可以落到同一组问题上:

a8fc9991-3a50-42f0-9894-9c49fb00f925.png

还有一种组合:模型生成程序,调用一个 VLA 技能完成抓取,再检查结果。此时程序负责调用和检查,具体抓取动作仍由 VLA 预测。外面包一层 Python,不会自动改变内部动作由谁产生。

这也解释了“模块化、端到端、分层”为何不能直接作为两边的标签。CaPtain 显式组合感知、几何与运动模块;π0.5 的动作预测学习从观测到动作的映射,这个范围内可以谈端到端学习,但仍需要执行系统。分层强调高层向低层交接目标或技能,π0.5 原始论文就采用先预测语义子任务、再生成动作的分层推理。

模型层面,CaPtain-4B 生成程序,π0.5 预测动作。系统层面,程序和动作可以衔接、组合。比较它们的控制方式,最终要追踪的是:抓哪里、怎样接近、何时闭合这些决定,怎样从当前观察变成了可执行命令。

推荐阅读
{{item.author_display_name}}
{{item.author_display_name}}
{{item.author_user_occu}}
{{item.author_user_sign}}
×
右键可直接复制图片
×