17小时前 机械臂拿着插头却插不进去：视觉引导、VLA 与标定怎么分工

作者：我不是毛毛      出品：具身智能前沿

导读

换成 VLA，不会自动消除插接中的感知、执行与接触误差，也不意味着每套系统都要做相同的手眼标定。从机械臂拿着插头却插不进去出发，本文比较分模块视觉引导与 VLA 学习策略怎样生成动作，说明哪些控制环节需要几何变换、为什么有伺服仍会偏，以及怎样通过对照和独立验收决定该修哪一段。

先看插头在哪一步没进去

设想一个教学场景：机械臂夹着插头，朝未通电的插座模型移动。它已经来到孔口附近，却没插进去。

位置描述“在哪里”，姿态描述“怎么转、朝哪边”，两者合起来叫位姿。插接通常同时约束位置和姿态：中心到了孔口附近，角度不对，仍然可能卡住。表面法向量只表示垂直于表面的方向；绕插入方向转动时，法向可能没变，插脚却未必对得上。

如果插头相对孔口的位置或姿态偏差超过任务允许范围，可以说它没有对准；但“没插进去”本身还不能证明定位精度不够。即使接触前对齐，配合公差、摩擦或接触后的变化仍可能让它卡住。这里判断的是整套系统作用于工件的结果，不能直接归结为机械臂本体精度差。

因此，先看失败发生在哪一步：还没接触就偏在孔旁，检查目标估计、坐标转换与实际到位；碰到孔口才卡住，既要确认对齐是否足够，也要检查配合与接触过程；刚抓住时是正的、移动后歪了，则检查夹持滑移或夹具变形。这些现象可能重叠，只能帮助确定从哪里查起，处理方法要等测量和对照缩小范围后再选。

要解释这些偏差，先看机器人如何决定动作，再看实物怎样执行。

同一个插头，两种方式生成动作

VLA 本身也使用视觉。这里比较的是分模块的视觉引导方案与 VLA 学习策略：面对相同画面，它们怎样决定机械臂接下来做什么？

在本文限定的分模块方案里，先由视觉算法估计插头与孔口的位姿，再把结果转换到机器人参考系。知道孔口在哪里，还要知道插头怎样被夹住，才能确定机械臂该到哪里。例如插头尖端在夹爪前方，夹爪就不能直接以孔口位置为到位目标；需要结合夹持关系和期望插入姿态，算出机械臂的目标，再由规划与控制模块生成运动。孔口位姿、运动目标和规划轨迹，都是可以逐段检查的中间结果。

坐标转换之所以必要，是因为相机看到的“前方”与机械臂基座定义的“前方”可能不同。手眼标定确定其中相机与机器人相关参考系之间的固定位置、朝向关系；相机装在手腕上时，还要结合机械臂当时的位姿完成转换。

VLA 是视觉—语言—动作模型。训练时，示范等数据把图像、指令和对应动作联系起来，部分模型还使用机器人状态；模型从中学习怎样根据观测生成动作。运行时，它可以接收“把插头插进去”的指令和当前画面，输出关节目标、末端动作或一段动作序列，再交给底层控制器执行。采集示范时由人操纵机器人，称为遥操作，与训练后的策略自主执行不同。

主要变化在观测到动作的生成环节：原来由显式模块和任务规则组织的部分工作，改由训练得到的策略承担。某些策略不必逐项输出“孔口在哪里、应先移到哪里、再走哪段轨迹”，就能生成下一步动作；但具体替代哪些模块，要看系统设计，不能据此认定几何定位、规划或接触技能全被取消。

图中两条路径用于对照，不表示同时运行。两种方式都可以继续接收观测、修正动作：分模块方案可以用视觉误差反馈控制运动，即视觉伺服；VLA 策略也可以用后续观测生成后续动作。这类根据观测更新动作的反馈，与底层控制器跟踪运动目标的伺服闭环，负责的环节不同。

几何关系清楚、任务重复时，分模块方案便于逐段测量与调整，也能重新定位变化的目标。VLA 提供从数据学习多种行为的路径，但效果取决于训练覆盖、观测与机器人适配。两种方式可以组合使用，换成 VLA 不自动意味着定位更准或插接更可靠。

VLA 到底需不需要标定

先说标定在做什么：通过已知基准与观测，确定系统数值、模型参数与物理世界的对应关系。例如，相机内参标定估计成像参数，工具标定确定工具坐标系相对机械臂末端的位置与朝向，手眼标定则确定相机与机器人相关参考系的关系。手眼标定是其中一种，不能代表整套系统的全部校准工作。

本文沿用设备文档中的“关节校准”等名称，重点看它确定了什么关系。比如把关节放到已知角度、检查编码器读数，可以确定零位偏差；修改零位设置属于实际调整，再测一次是否满足要求则是验证。JCGM 的计量术语也将校准与调整、验证区分开，不能把“校准”简单理解为把机器调到这一次能成功。

使用 VLA，不一定要单独做显式手眼标定，但仍要保证机器人校准有效、观测与动作接口匹配。判断时看整条控制路径，不能只看模型名称或输出类型。

例如，直接从图像与关节状态生成关节动作的策略，可能不先显式计算孔口的机器人坐标。openpi 官方的一份机器人适配代码就没有要求输入手眼矩阵，同时会转换关节方向和夹爪数值。这个例子支持“该接口不用显式手眼输入”，不能证明其他模块也没有使用几何参数，更不表示模型内部求出了一套可解释的手眼参数。

学到的动作仍依赖数值有稳定含义。训练时某个关节数值对应一种姿态，部署时若因零位或方向配置不同而对应另一种姿态，动作就可能落错位置。LeRobot 的 SO-101 官方指南安排机器人校准，就是为了让相同物理位置对应一致的位置数值。还要确认动作是绝对目标还是相对增量、使用什么单位、按什么节拍执行；把“再转多少”当作“转到哪里”，即使模型预测符合原接口约定，执行也会出错。部署时应先按设备规范确认已有校准与接口是否有效，不必一律重做。

若输出末端的位置和朝向，也就是笛卡尔空间的目标，则要明确参考系，并通过运动学模型换算成关节动作。工具中心点 TCP 是定义在工具上的控制参考点，例如夹爪中心或工具尖端；按 TCP 控制时，它相对机械臂末端的位置与朝向应设置正确。

末端控制本身不必然需要手眼矩阵；如果还要把深度相机测出的孔口位置转换到机器人参考系，就须验证相应成像参数和相机—机器人变换。部署时可从四方面检查：

这些检查有交叉，也包含接口配置，并非全部属于标定。相机移位时，几何模块可能要更新变换，图像策略则需要验证新视角是否仍在适用范围内，必要时恢复视角或重新适配；重算矩阵不会自动修复策略对新画面的不适应。参数与接口合适之后，还要检查实物有没有按要求运动。

目标对了，有伺服为什么仍可能插不进

伺服闭环比较测得的状态与目标，再调整驱动。它能纠正什么，取决于反馈测到了哪里。编码器是测量转角或位移的传感器；若装在电机轴上，就不能直接测出后续减速器的弹性、连杆挠曲、夹具变形或工件滑移。关节输出端再加编码器，可以覆盖更多传动误差，其后的结构仍可能受力变形。

Maxon 的双环控制说明展示了电机侧与负载侧反馈的区别：增加负载侧测量，可以减小传动弹性、背隙对负载定位的影响。

沿 Motor（电机）、Gear（传动）到 Load（负载）看反馈测点；图为控制结构示意，不是整机精度实测 ｜ 来源：Maxon，EPOS4 双环控制文档

拿起物体后，质量、重心和惯性改变，受力与结构变形也可能改变。因此要核对控制器中的负载、重心和惯量配置；额定负载以内，不意味着各姿态、速度下的精度完全一样。弹性变形通常卸载可恢复，永久变形或松动则要另外处理。即使夹爪的实际 TCP 到位，插头在夹爪中偏了，尖端仍可能错过孔口。

接触后又多了一层问题：插头是否顺着孔口进入？孔口被遮挡时，仅凭图像可能难以区分正在插入和已经卡住。可以设计成 VLA 完成接近与粗对齐，再由专门技能利用力或触觉反馈调整。所谓顺应接触，是允许指定方向的位置随受力调整；例如 UR 的力控接口可以选择哪些方向按力控制、哪些方向保持位置控制。让 VLA 直接利用接触反馈纠偏，则需要相应输入、训练和验证。

轨迹执行完，不等于工件装配成功。应通过独立观察或工装检测确认最终插入深度与姿态；有力觉时，也要结合插入进展解释受力，不能只凭力增大宣布成功。受力超限、持续不前进或观测不足时，按预先验证的规则停止、退出或转人工，具体判据取决于工件与设备能力。

插不准，怎样缩小问题范围

先确认没有达到哪项任务要求，再判断问题出在目标生成、实际执行还是接触过程。排查前先约定测什么：夹爪 TCP、插头尖端，还是插头相对孔口的偏差？位置、角度各允许偏多少，测量能否分辨这些差别？明确对象和基准后，对照结果才有意义。

控制器显示到位，只说明内部测量与模型认为到位。实际位置应按任务精度，用经过核验的工装、外部视觉或计量设备检查；测量基准不能只由待检查的同一套参数生成。

以一个假设过程串起这些对照：插头接触前就偏到孔旁，先用独立测量确定应到达的运动目标，在规划器入口替代视觉生成的目标，尽量保持目标姿态、运动与夹持可比。偏差若消失，重点回查被替代的视觉估计、坐标转换与目标计算；偏差若仍在，继续检查后续规划、下发、执行、工具与夹持。这个结果只帮助确定下一步查哪里，不能直接认定相机或机械臂有故障。

假设独立测量发现，夹爪的实际 TCP 到位，插头尖端却偏了，而且重新夹持后偏差改变，就应检查夹持关系、重复性与滑移。调整后换姿态、带任务负载复验；若接触前已对齐、接触后才卡住，再查配合尺寸、角度和接触控制。

若只在高速带负载时偏，再交叉比较低速空载、低速负载、高速空载和高速负载，检查两者是否共同影响结果。现场随任务采集、处理图像称为在线视觉，“在线”不指联网；在动态任务中，还需检查图像、机器人状态与动作的时间对应。

这些是控制变量的对照。关闭某项补偿来评估其贡献，可以称为消融；降低速度或比较程序则不必都叫消融。对 VLA，应保存图像、指令、机器人状态、输出动作及时间；回放时还要保持其余输入和推理设置可比，使用历史观测或内部状态的策略也要保留相应上下文。再用已验证的动作或专门技能作对照，区分策略输出问题与后续执行问题。单次对照只能缩小疑点，不能排除多个环节同时有误。

真要重标，怎样采、怎样验

确认手眼关系失效或需要重新建立时，再进入相应标定流程。“眼在手上”指相机随机械臂末端运动，“眼在手外”指相机固定在机械臂外部。常见采样配置是：前者把标定板固定在环境中，后者把标定板固定在机械臂末端。采集期间，各自假定的刚性关系必须不变。

以固定相机为例，每个姿态停稳后，保存末端相对基座的位姿，以及图像估计的标定板相对相机的位姿，组成一对记录。换多个姿态采集后，求解器利用这些关系估计相机到基座的变换；标定板与末端的固定关系需已知，或一并求解。

HALCON 和 Zivid 的指南都强调姿态多样性：不能只平移或反复拍近似姿态，要提供不同旋转与位置，并尽量覆盖任务区域、距离和构型。手眼采样关注机器人运动的约束，与内参标定关注图像区域覆盖有所不同；看不清目标、超出有效测量范围的数据不会因范围大而更好。

求出参数还不算完成。标定残差是模型预测与观测的差异，拟合好不代表真实位置一定准。Zivid 明确提醒残差不能直接保证机器人定位准确；NIST 也区分重复性与准确度：能反复回到同一点，不代表那个点就是正确目标。

绿色投影与棋盘角点的偏离使变换误差可见；图为官方较差投影示例，不提供定位精度数值 ｜ 来源：Zivid，手眼标定验证文档

投影看似吻合，也可能低估手眼误差。验收要用未参与求解的观测与参考目标，检查工具或工件实际到位。覆盖任务中的位置、朝向、负载与必要动态条件，分别记录位置误差、角度误差与插接成功率，并考虑测量基准自身的误差。

补偿也按这个标准判断。例如工具尖端相对夹爪存在固定偏置，在机器人基座坐标系里加一个固定位置修正，可能只在同一朝向下有效：夹爪转动后，偏置在基座坐标系中的方向也会变。在任务范围内经过独立验收的补偿可以采用，但不能据几个点成功就认定所有参数准确。

现场恢复先对照合格基线，检查安装、工具、负载配置与软件版本，确定变化发生在哪一段，再更新对应参数。保留旧版，复验合格才启用。相机与机械臂共同安装在移动平台上且刚性关系未变时，底盘移位可能只需重新确定平台与环境的关系，不自动意味着手眼改变。

停机重标与边工作边在线微调也要区分。在线更新需要观测足以区分待估参数：例如始终同一朝向，可能难以分清工具偏置与部分坐标误差。缺少有效观测时，不应把每次插偏都写回外参；参数更新须具备限幅、验证与回滚。

回到那个没插进去的插头，先确定哪一步偏了、用什么测出来，再选择修感知、坐标、策略、夹持还是接触控制。VLA 改变动作生成方式，重标修正特定关系，两者是否奏效，都要由真实任务的验收来回答。