2026-10-12 从选动作到真机抓杯：Jev 的机械臂应用走到了哪一步

导读

Jev 已被用于机械臂的技能选择、位移决策和抓取状态判断。本文结合五个公开项目，解释它如何与候选生成、坐标计算和底层控制配合，再看实际效果：限定任务已能运行，小样本对照显示请求延迟较低，但精确放置、异常判断和未知场景的可靠性仍需验证。完成任务与加入模型带来的增益，需要分别评估。

Jev 的答案怎样变成机械臂动作

让机械臂把方块放进托盘，过程中要连续做决定：先靠近哪里，什么时候闭合夹爪，抓稳了吗，接下来抬高还是平移？

Jev 是 TypeSafe 推出的结构化判断模型，可以被接到这些环节。它提供三种问题接口：Choice 从给定选项中选择；Score 按给定标准评分；Noul 判断某个陈述成立的概率。返回值可以直接交给控制软件处理。

这套接口在机械臂里的用法是：先把位置、夹爪状态、接触信息和任务目标整理好，再问一个具体问题，例如“接下来选择靠近、抓取、抬起还是放下”。程序收到选择后，调用对应动作，读取执行后的状态，再问下一次。

动作选项由开发者的代码提供，可以在每次请求时更新。这里的“程序”指机器人控制软件，负责状态整理、候选生成、坐标计算和控制执行。

截至本文核验时，Jev 的官方接口只接受文本或结构化 JSON，不接受图片、音频和视频。相机画面需要先由其他感知程序处理，变成位置、距离等状态信息。仿真项目也可以直接读取物体坐标，这会简化感知，却不能证明模型能处理真实世界的遮挡和识别误差。

图片说明：工作台左侧为任务与状态，中间为机械臂场景，右侧为动作反馈。此图处于规则基线模式，模型调用数为0，用于说明界面结构，不代表 Jev 的实验成绩。图片来源：EmbodiedJev 项目仓库

下面按 Jev 参与的决策环节观察五个项目。同一个系统可以同时使用技能选择、位移选择和状态判断；各项目的区别在于候选如何产生，以及执行前后怎样检查。

选现成技能：用技能库组织抓取任务

jev-askable-arm 在机器人仿真环境 ManiSkill 中使用 Franka 机械臂，准备了约30个动作技能，包括移到物体上方、下降、闭合夹爪、抬起等。

它将物体坐标、夹爪是否持物、距离和近期动作交给 Jev，让模型选择下一项技能及目标。比如抓取红色方块，会被拆成靠近、下降、闭合夹爪、抬起的一连串调用。

作者在种子0的仿真中展示了抓方块、放到目标位置和按按钮，分别使用3、7、4次技能选择。这说明流程可以运行，尚未给出多种场景下的稳定成功率。

这些技能是开发者预先写好的动作函数。例如“移到物体上方”，会读取所选物体的位置，计算夹爪该去哪里，再调用底层控制接口。Jev 决定技能与目标，函数完成位置计算和动作执行。同一个技能可以用于不同位置的物体，少量技能也能组合成不同任务。

这种接法适合已有技能库、希望增加任务组织能力的系统。覆盖范围取决于技能能做什么、能怎样组合。若任务需要旋拧瓶盖，而技能库只有夹取和搬运，就要增加旋拧技能。该项目使用仿真中的准确状态，也尚未验证感知误差下的稳定性。

选位移：把搬运拆成子目标和小步动作

EmbodiedJev 把选择进一步细化。在它的分层控制模式里，Jev 先选择“靠近、抓取、抬起、搬运、放低、释放、撤离、结束”等子目标，再根据该子目标选择 X、Y、Z 三个方向的移动及夹爪动作。

可以把它理解成两次提问。第一次问“现在处于搬运的哪一步”，第二次问“为完成这一步，夹爪该往哪边挪”。第二次请求同时选择三个轴的负向、保持或正向，以及夹爪动作。代码根据子目标与几何误差提供每轴2至12毫米的步长。

举一个示意例子：假设本步 X、Z 轴的步长都是5毫米，Jev 选择 X 正向、Y 保持、Z 负向。代码就在夹爪当前坐标上加上位移（5，0，−5）毫米，得到新的目标位置。

接下来，逆运动学算法将目标位置换算成各关节的目标角度，由控制器驱动机械臂运动。执行后重新读取状态，再选择下一步。每步的选择是离散的，夹爪位置和底层运动由连续数值表示。小步选择可以反复调整位置，精度仍受步长、反馈和控制误差影响。

图片说明：Jev 分层 XYZ 控制的加速仿真回放，右侧显示子目标与动作通道的概率。回放速度不代表实际推理速度，选项概率也不代表动作成功率。图片来源：EmbodiedJev 项目仓库

项目在2026年9月20日记录了两次同一随机种子的搬运试跑，最终都达到方块进入托盘的目标状态。不过，记录也说明：方块在放低过程中失握，落进了托盘，没有完成预期的主动释放。

这给出了一个具体边界：最终位置符合目标，与抓取、搬运、释放全过程可控，是两种不同的结果。两次试跑能说明分层接口跑得通，还不足以估计稳定成功率。

先仿真再选择：让程序缩小模型的选项

FazalAAli 的 jev-robotics-demo 使用物理仿真环境 MuJoCo 中的 Franka 机械臂与 Allegro 手，任务是把蓝色方块叠到红色方块上。

它的候选生成器是 Python 代码中的 propose 函数。函数计算目标与当前位置的差，生成朝向目标、保持高度平移、升降和侧移等候选位移，并限制朝向目标的步长以避免越过目标。这些具体位移可随当前状态变化。

随后，程序将候选动作放进临时仿真中预演，排除不可达、会明显撞移方块或会让持有物体掉落的候选。

剩下的动作附带预演后的距离、接触等信息，交给 Jev 选择。模型也参与目标、抓取或释放，以及完成状态的判断；如果移动候选只剩一个，程序会直接执行，不再为这次选择调用模型。

这里，候选生成器把连续空间中的一部分动作取出来，仿真器提供预演结果，Jev 选择其中一个。若绕过障碍所需的动作没有被生成，模型就无法通过这次选择找到它；仍需改进候选生成或接入更完整的运动规划。

这种接法适合可以快速预演的场景，效果取决于仿真能否正确描述碰撞、接触和抓取。预演遗漏真实风险时，筛选后的动作仍可能失败。

作者报告了一次成功的 Jev 堆叠运行，用时19.1秒，并与另一套大模型调用方案比较耗时。但两套方案的动作生成和预演分工不同，单次记录不足以将速度差全部归因于模型。

判抓稳：状态判断可以接入，也可能出错

jev-arm-lab 在 MuJoCo 的 xArm7 场景中，把 Jev 接到三个问题：下一步技能是什么，是否抓稳，以及任务进度如何。程序再结合回答决定是否执行技能，并检查传感器信息是否过时、任务是否卡住。

这类应用很实际。夹爪已经闭合，并不意味着物体还在手里；如果状态判断有用，系统就能在继续搬运之前重新检查抓取。

项目2026年9月21日的后续试验也暴露了问题。作者在启用真实接触物理的55个仿真场景中记录到：低摩擦条件下，有12个决策周期出现危险的错误判断——方块已滑落到桌面，Jev 仍判断抓稳，并提出继续搬运。这12次是判断次数，不能理解成12个独立任务。

当时输入里已有物体高度接近零、没有触觉接触等矛盾信息。项目记录称，“抓稳”的 Noul 概率仍达到约0.60至0.67，超过了程序设置的0.45门槛。

这说明简单提高或设置概率门槛，不能保证抓取安全。Choice 和 Score 的置信度反映答案分布的集中程度，Noul 给出陈述成立的概率；这些数字都需要在具体任务中验证，才能决定如何使用。

我的判断是，抓取确认需要结合直接状态检查。例如物体是否随夹爪抬升，可以与模型答案交叉核对。模型建议和传感器事实冲突时，控制代码要有明确的停止或重新观察条件。

真机抓杯：把模型决策接进持续运行的系统

alee792 的 robojev 把这套思路接到了真实的 WidowX 机械臂。作者在2026年9月17日的一日试验记录中报告，机械臂在234秒内完成了四轮无人干预的抓取与释放。

系统先由腕部深度相机与感知程序生成物体状态，再把当前任务、目标和可执行动作交给 Jev。模型参与目标选择与下一步动作等决策，底层程序负责运动指令、动作前置条件和边界检查。

真机还多了一项仿真演示容易省略的工作：处理异步请求。机械臂持续运行时，旧状态下提交的答案可能已经过时。robojev 会按状态变化等条件触发请求，丢弃过时结果，并在模型没有及时给出新答案时维持或暂停动作。

因此，机械臂控制循环的频率，不能直接当作模型调用频率。控制程序需要持续工作，模型则在需要新决定时被调用。

这份记录支持特定场景里的真机接入：感知和几何参数针对固定桌面纸杯做过调整，原始运行日志没有公开。它属于作者报告的试验结果，还不能据此推断陌生物体或复杂环境中的可靠性。

实际效果：任务已跑通，可靠性与增益分别看

这些项目记录显示，Jev 可以接入机械臂任务流程，在限定场景里完成操作；失握和错误抓稳判断也说明，稳定精确执行仍有缺口。已有结果主要来自项目作者记录，本文没有独立复现实验。

EmbodiedJev 还报告了 Meta-World 的小样本对照：到达、推物、抓放三类任务，各用两个种子，Jev 与 GPT-6 Astra 都完成5/6局。Jev 的请求延迟中位数为0.328秒，对方为4.011秒。不过，抓放成功只要求物体距离目标不超过7厘米，不要求松手和撤离；确定性参考控制也完成5/6，仅用于验证控制链路。

因此，这组测试支持较低的模型请求延迟，尚不足以证明通用可靠性或优于规则控制。系统完成了任务，其中还有候选设计、感知和控制软件的贡献。模型是否提高成功率、降低开发工作量、适应变化的指令，需要各自的对照证据。

我的建议是从已有稳定控制流程接入一个决策点，保持感知、动作接口和任务条件一致，比较完成率、掉落、总耗时，以及指令或布局变化后的表现。候选不足时应扩充技能或重新规划；判断与反馈冲突时应暂停检查。这样才能确定 Jev 增加了什么能力。