2小时前 Handroid：当一台机器人既可以是灵巧手，也可以是人形机器人

出品：机器之心

如果机器人需要行走、转向、避障以接近目标，它需要一副能够移动的身体；如果机器人需要进一步完成抓取、倒水、叠杯子或拾取纸张等精细任务，它还需要一只足够灵巧的手。长期以来，这两类能力通常由不同的机器人平台分别实现：人形机器人侧重移动与全身交互，灵巧手则专注于物体尺度上的精细操作。这种分工虽然清晰，却也在无形中将机器人系统割裂为两部分：会移动的机器人，手往往不够灵巧；足够灵巧的手，又常常离不开机械臂和固定的工作空间。

为了打破移动与精细操作之间的这道边界，来自北卡罗来纳大学教堂山分校和斯坦福大学的研究团队提出了 Handroid：一台高 0.33 米、重 2.05 千克、拥有 27 个自由度的可重构桌面级机器人。它最特别的地方在于，同一套硬件可以在两种形态之间切换：需要行走和全身交互时，它是一台小型人形机器人；需要完成精细操作时，它又能重构为一只多指灵巧手。换句话说，Handroid 尝试用同一副「身体」，同时承载机器人的移动能力与灵巧操作能力。

这项工作的意义并不在于打造一台「变形金刚」。更重要的是，作者们希望通过这样一个真实可运行的平台，展示一种新的机器人设计思路：机器人不一定生来就只能是一只手、一双腿，或一副固定不变的身体。关节可以被重新分工，模块可以被重新组合，同一套硬件也可以在不同任务中获得新的角色。当形态不再是机器人能力的边界，而成为一种可以重组和复用的资源，机器人也将拥有更多可能。Handroid 给出的并不是最终答案，而是一个真实可运行的起点——它希望让更多研究者沿着这条路，重新想象机器人可以是什么，又可以做什么。

形态复用：

不是给机器人装一只手，而是重组一副身体

过去，大多数灵巧操作系统采用的都是一条相似路线：将灵巧手作为末端执行器，固定在机械臂末端。灵巧手负责抓取和操作物体，机械臂则负责把它送到指定的工作区域。这套方案虽然有效，但机械臂的可达范围相对固定；一旦目标超出这一范围，系统就需要增加额外的移动平台。当机械臂、灵巧手和移动平台被组合在一起后，整套系统的结构与控制也会变得更加复杂。例如，在使用外部相机时，机器人位置的改变还会影响相机与机器人之间的坐标关系，使目标重定位、坐标转换、移动与操作规划，以及碰撞规避等问题更难处理。

Handroid 没有沿着「继续扩大机械臂工作范围」的方向思考，而是从手与身体的形态结构入手。研究团队发现，人类身体和人手的拓扑结构具备天然的相似性：它们都能被看作一种由中心区域向外延伸出五条多关节运动链分支的构型。其中，拇指对应于头部，食指和小指对应于双臂，中指和无名指对应于双腿，而手掌对应于人体的躯干。这种相似性使同一组关节模块不必始终承担固定的功能，而是可以在不同形态下扮演不同角色。

基于这一思路，Handroid 将同一套 27 自由度机电系统复用于两种形态。在灵巧手形态下，20 个关节自由度组成接近人手关节布局的五指结构，支持抓取、多指协同和手内操作。通过 2 个直线移动的自由度完成形态切换后，原本组成五根手指的关节模块分别成为人形机器人的头部、双臂和双腿，25 个关节自由度共同构成人形身体。其中，双腿共有 12 个自由度，覆盖人类下肢的主要关节运动，可以支持行走、转向、侧移、下蹲和姿态转换。

因此，Handroid 的思路不是在机器人身上继续叠加一只独立的灵巧手，而是重新组织已有的硬件：需要精细操作时，同一组模块组成五根手指；需要移动和全身交互时，它们又成为头部与四肢。Handroid 正在将「移动能力」与「精细操作」装进同一副躯体里，并尝试证明：机器人不必依靠增加新部件来拓展能力，同一套硬件也能通过形态重组承担不同功能。

机械设计：

五根手指，如何变成头部和四肢？

Handroid 本体设计的难点，在于同一套硬件必须同时满足两种截然不同的需求：灵巧手形态需要尺寸小巧、结构紧凑，能够容纳五根手指和密集的关节；人形形态则需要头部、双臂和双腿拥有足够的自由度与活动范围。因此，在设计之初，必须同时考虑两种形态下的关节分布、运动范围、执行器尺寸与输出能力，以及各个模块之间的对应关系。

为此，团队对关节映射、执行器选型和内部布局进行了巧妙的设计。灵巧手形态下的五根手指模块，在切换为人形形态后，分别成为头部、双臂和双腿。同一组关节由此获得了两套不同的功能定义，也让手指运动链与人形身体运动链之间的重组成为可能。其中，形态切换由两套滑轨与齿轮齿条传动机构完成。齿轮齿条将执行器的旋转转化为沿滑轨的直线运动，使部分关节模块能够移动到另一种形态所需的位置。整个切换过程不需要拆卸或更换硬件，而是通过模块位置的改变，重新组织机器人的运动链。至此，「形态复用」不再只是概念，而是被具体到每一个关节的分配、每一组模块的位置和两种形态之间的对应关系中。

值得一提的是，为了让 Handroid 在两种形态之间自由切换并顺畅衔接任务，团队还为 Franka Research 3 机械臂设计了一款电磁法兰，可实现 Handroid 与机械臂的快速连接和分离。当目标超出机械臂的工作范围时，Handroid 可以切换为人形形态，通过电磁法兰与机械臂分离后执行移动和环境交互任务；需要进行精细操作时，它又可以切换回灵巧手形态，通过电磁法兰重新连接机械臂，协同完成灵巧操作。该法兰在 Handroid 处于灵巧手形态时可提供约 180 牛的保持力，为操作过程中的连接稳定性提供保障。

电气与传感：

让两种形态共享一套「神经系统」

形态复用对电气系统提出了很高的要求。同一套硬件既要支持多指操作，又要支持人形运动；既要能连接上位机部署策略，又要能在真实实验中监控电源、温度和关节状态。

Handroid 的主控板尺寸约为 40 mm × 80 mm，在有限体积中集成了执行器控制、无线通信、供电管理、温度监测和状态反馈。控制器通过总线读取关节位置、速度、负载和温度，并通过无线网络向上位机传输机器人状态。机身和指尖位置的惯性传感器在灵巧手形态下服务于手部控制，在人形形态下又可以成为身体和脚端运动信息的一部分。这种传感复用和形态复用相互配合，使 Handroid 不只是一个机械展示件，而是一个可以支撑学习策略和真实部署的平台。

控制与学习：

同一套硬件，如何学会两种本领？

完成机械结构的重组只是第一步，如何让同一套硬件在两种形态下真正完成任务，才是 Handroid 在控制与学习层面需要解决的问题。

在灵巧手形态下，团队基于 Apple Vision Pro 搭建了一套臂手协同遥操作系统。该系统可实时追踪操作者的手部关键点，将手指动作重定向到 Handroid，同时把手腕运动映射到 Franka Research 3 机械臂末端，使操作者能够同时控制机械臂和灵巧手。这套系统既可以直接用于执行真实任务，也可以为策略训练采集高质量示教数据。

基于采集的示教数据，团队进一步训练了物体条件扩散策略。策略输入物体点云和机器人本体状态，输出连续动作片段，用于不同形状、不同位姿物体的灵巧抓取。在手内操作任务中，团队还在仿真中使用强化学习训练立方体重定向策略，并将其部署到真实 Handroid 上，让多根手指通过协调接触保持并调整手中立方体。

在人形形态下，Handroid 支持两类控制与强化学习路线。一类是基于参考轨迹的强化学习跟踪：参考动作可以来自零力矩点（ZMP）步态规划器，也可以来自关键帧编辑器中人为设计的动作；强化学习策略在这些动作的基础上进行闭环修正，以适应地面接触、执行器限制和动态平衡等要求。另一类则不依赖预先设计的动作轨迹，而是直接根据目标速度训练策略，让机器人从前进和转向等速度指令中学习稳定运动。

为了更快地设计和验证机器人动作，团队基于 Viser 对关键帧编辑工具进行了二次开发与优化。用户可以在编辑器中设计动作，并快速完成仿真和真机验证。对于一种全新的机器人形态，这套工具尤其重要：即使学习算法尚未收敛，研究者也可以直接探索硬件的能力边界。

从指尖操作到双足行走：

两种形态如何接力完成任务？

在灵巧操作实验中，Handroid 展示了抓纸、倒水、叠杯、杯子悬挂、双物体抓取、取出手套等真实任务。团队采集了 10 种物体、共 100 条遥操作示教，训练物体条件扩散策略。在随机物体位姿下，该策略在 10 类物体上取得平均 72% 的真实抓取成功率，说明 Handroid 不仅可以被手动控制，也可以支撑从示教、策略学习到真实部署的完整流程。

在手内操作实验中，强化学习策略以 30 赫兹运行，依赖关节状态和本体感知历史，在真实机器人上完成立方体保持和重定向。这类任务对多指协调、接触稳定性、设计合理性、执行器控制和仿真到真实迁移提出了更高的要求。

在人形实验中，基于参考轨迹的强化学习跟踪在仿真中达到 0.12 弧度的关节位置误差和 0.0019 米的身体位置误差；直接从速度指令学习的策略，在 0.20 米每秒前进命令下达到 0.052 米每秒的速度跟踪误差。在真实机器人上，Handroid 可以完成前后移动、转向、侧移、下蹲、俯卧撑、引体向上和简单抓取放置任务。

最能体现 Handroid 设计思路的是一项跨越两种形态的长时程任务。任务开始时，Handroid 以灵巧手形态连接在 Franka Research 3 机械臂末端；随后切换为人形形态，与机械臂分离；接着沿前进路线移动和避障，并将箱子推入机械臂的工作范围。完成移动后，Handroid 再次切换为灵巧手形态，重新与机械臂连接，最终抓起瓶子并将其放入箱中。这个实验把形态切换、移动、环境交互、与机械臂的分离和重新连接，以及灵巧操作放进同一条工作流中，也直观展示了为什么值得在同一个平台中研究「移动能力 + 精细操作」。

从 Handroid 出发：

重新想象机器人的身体

Handroid 的价值，不在于证明一台机器人能够解决所有任务，而在于把「形态复用」这一理念从设想变成真实可运行的机器人平台。围绕同一套系统，团队完成了从机械结构、电气与传感，到遥操作、模仿学习、强化学习、步态生成和关键帧动作编辑的完整开发，为不同方向的研究者提供了一个可以共同研究、验证和扩展的实验平台。

对机器人学习研究者来说，Handroid 提供了一个新的任务载体：同一个硬件既可以用于研究灵巧操作，也可以用于研究人形运动，还可以用于研究跨形态任务规划和长时程执行。对机器人设计研究者来说，它提出了一种硬件层面的新范式：未来的机器人硬件是否可以从单一功能最优，走向多形态、多任务和可复用平台的统一设计？

作者团队

Handroid 由北卡罗来纳大学教堂山分校 IDEAL Lab 与斯坦福大学联合研发完成。项目作者团队包括北卡罗来纳大学教堂山分校学生 Ruogu Li、Chenyang Ma、Sikai Li、Zhenyu Wei、Yunchao Yao，以及斯坦福大学 Haochen Shi。Haochen Shi 此前开发的 ToddlerBot 是桌面级开源机器人领域最具代表性的系统之一。项目指导团队包括斯坦福大学教授 Karen Liu、Shuran Song，以及北卡罗来纳大学教堂山分校助理教授 Mingyu Ding。

北卡罗来纳大学教堂山分校 IDEAL Lab 长期致力于灵巧操作与通用机器人学习研究，在灵巧手表征、跨平台操作、柔顺交互以及人形机器人控制等方向积累了丰富经验。该团队此前提出了跨灵巧手表征方法 OHRA、灵巧手操作基准 DexVerse、基于电机电流感知的柔顺操作框架 Current as Touch，以及面向人形机器人的灵巧移动操作框架 CoorDex 等一系列工作，并多次获得机器人领域顶级会议 ICRA 最佳论文奖。

Handroid 团队高度重视机器人系统的全栈研发，覆盖从硬件设计到智能算法部署的完整技术链路，包括机械结构设计与制造、电气与传感系统集成、人形运动控制、遥操作、模仿学习以及强化学习等多个方面。不同于仅针对单一硬件平台或单一算法模块的优化，Handroid 更强调机器人硬件与软件的协同设计与共同演化：机械结构设计为机器人能力提供基础支撑，稳定可靠的电气与传感系统保障系统运行，运动控制与学习算法则进一步挖掘和释放硬件潜力。Handroid 正是在这种软硬件协同、全栈迭代的研发理念下完成的。