阅读时间大约10分钟以上（5045字）

2026-07-10 我们之前利用人类视频数据的方法，可能都走错了方向

来源：豆包

机器人要拟人的真正原因

作者：liuxjerry 出品：具身纪元

ALOHA、ACT 的作者 Tony Zhao 和 UMI 的作者 Cheng Chi 一起创立 Sunday Robotics 时，给出了一个判断，真正的创新在算法和硬件的跨界。

这个判断让我印象非常深刻。

算法和硬件的协同设计是一个很深刻又很难做到的理念，并非是一个公司有了一个硬件和一个软件团队就可以了，还需要两方的思考方式深入融合。

这个判断放在 2026 年的机器人数据之争里，格外应景。

随着 Jim Fan公开判断遥操作已经过时，几乎所有人都转向人类视频。人类视频数据量足够多，采集成本足够低，如果只靠它就能训出机器人，那是最理想的状态。

因此，各路团队都在思考如何设计精妙的算法让人类数据retargeting到机器人上，但有一篇论文给出了非常不一样的答案： Human-as-Humanoid。

如果机器人本身就是为人类数据设计的，那道横在人和机器人之间的鸿沟，可能根本不需要一层复杂的算法去翻译，而是必须围绕人类数据和模型训练闭环来设计。

这是一篇比较少见的在学术体系中反思这一话题的论文，来自DeepCybo 深度机智团队的一篇新论文。

先把这篇文章的亮点写在前面：

从人类视频出发，设计了一种与人类动作对齐的 60 自由度上半身人形机器人，支持将人类双手操作以具身一致的方式转换为人形机器人的动作监督信号

通过一个接近实时的 ego-exo 视频到动作转换流程，能够在不依赖动作捕捉穿戴设备的情况下，将仅由相机采集的人类示范转换为与控制器对齐的 60 自由度人形机器人动作片段

多个方面验证了这一转换链条，包括关键点稳定性、在未见过的机器人轨迹上的 tokenizer 重建效果、4.8–7.2 倍的原始吞吐量提升，以及在真实人形机器人操作任务中实现零目标任务机器人示范的部署。

转换效果可以直接从演示视频里看出来，人类动作被近乎实时地转成了机器人关节命令。

人类视频这个方向，和它绕不开的固有解法

要训一个能干活的 VLA 模型，需要大量 observation-action 对，也就是摄像头看到的画面，配上机器人同时执行的动作。两者必须精确配对，模型才能学会从「看到」到「做」的映射。

标准做法是遥操作。操作员戴上 VR 头盔或穿上动捕服，实时控制机器人完成任务，系统同步记录观察和动作。对 7 自由度机械臂加夹爪的构型，这套流程门槛高但勉强能用。可一旦换成高自由度人形，尤其是带灵巧手的，遥操作就成了噩梦。

于是所有人都看到了同一个出路，人类视频。互联网上有近乎无穷的人类操作素材，做饭、叠衣服这类日常动作里，天然包含了双手协调和抓取时序。特别是第一视角的 ego 视频，跟人形机器人头部摄像头的视角高度相似。

但这些视频里没有机器人动作标签。能看到一个人在做什么，却不知道机器人该怎么做同样的事。视频只给 observation，不给 action，而 VLA 训练要的恰恰是两者的配对。这就是 embodiment gap，人和机器人在身体结构、关节配置上的差异，让人类动作没法直接变成机器人动作。

过去两年，行业为了跨过这道鸿沟，发展出好几套越来越精巧的算法。Georgia Tech 和斯坦福的 EgoMimic 把人也看成一种具身平台，用 Project Aria 采第一视角视频和 3D 手部追踪，把人和机器人放进同一个动作空间联合训练。UCSD 的 EgoVLA 直接拿第一视角人类视频训 VLA，让模型先输出人手的 wrist 和 MANO姿态，再用逆运动学和 retargeting 翻译成机器人控制，最后用少量机器人数据微调。ETH 和 Mimic Robotics 的 MAPLE 换了个思路，不直接出动作，而是从 Ego4D 里提取接触点和手姿这类操作先验，注入下游的灵巧手策略，用较低的成本从人类视频里得到可迁移的操作常识。

这些方案各有巧思，却共享同一个前提，也共享同一个天花板：

共同的前提是人和机器人长得不一样，所以中间必须加一层很厚的算法来翻译。共同的天花板是翻译得再好，结果还是要映射回一个既定机器人的关节命令，而对高自由度本体来说，这一步始终困难。

说到底，这两年大家做的是同一件事，用算法去迁就一个早就固定下来的本体硬件。

换个方向，从硬件设计重新想人类数据

Human-as-Humanoid 的起点是一台机器人，不是算法。它从 Robot for AI 出发，即机器人本体设计必须为模型服务。概念本身不难，难的是能不能把数据、模型和本体真的做成一个闭环。

这是个反直觉的选择。当前学术生态里，发论文的标准套路是选一台现成机器人，比如 Franka、UR5 或G1，再设计一个新方法让它学得更好。很少有人为了让数据管线更顺，专门设计一台机器人，毕竟造机器人太重，周期太长，审稿人也更看重算法贡献。而 Human-as-Humanoid 的论点恰恰相反，只要一开始就把机器人设计对，后面的一切都会变简单。

深度机智团队对PrimeU 的设计只围绕一个原则，人类对齐（human-aligned）以实现人类数据的无损同构映射。

身体结构上，PrimeU 的上半身按成年男性的操作比例来做，肩宽、臂长这些尺寸都接近人类。下面这张比例表里，各项比值都很接近 1。人在某个姿态下够得到的东西，PrimeU 大概率也够得到。人操作时手臂的关节角度范围，PrimeU 的关节限位也能覆盖。

手部搭载两只灵巧手，每只 20 个自由度。这个数字不及人手的约 25 个独立自由度，但已经覆盖日常操作要用到的绝大多数手指构型，捏、握、旋转都能做到。这些自由度的分布也参考了人手的运动学结构。

感知布局上，PrimeU 在头部和两个手腕各装了一台 Intel RealSense D435 深度相机。头部摄像头对应人类的 ego 第一视角，负责部署时的全局观察。手腕摄像头提供操作细节的近距离画面。采集人类数据时，操作员戴的也是相同位置的摄像头，训练和部署看到的画面，在视角上是一致的。

自由度组合是两条 7 自由度手臂加两只 20 自由度灵巧手，再加 3 自由度脖子和 3 自由度腰，共 60 个。脖子和腰常被忽视，但人在做精细操作时会不自觉地低头、弯腰，这些身体微调对任务成功率有实质影响。

有了这些对齐，人类上半身的运动就能通过相对简单的运动学映射，转换成 PrimeU 的关节命令，不再需要复杂的语义理解或跨形态迁移算法。embodiment gap 从一个困难的 AI 问题，变成了一个简单的运动学问题。

硬件对齐之后，算法还要补上一步

从视频到动作：一条极简的转换管线

硬件对齐并没有取消算法，只是让算法要解的问题变小、变干净了。

采集端，一个操作员正常执行任务，头上戴摄像头提供 ego 视角，外部摄像头从第三人称提供 exo 视角，两个视角同步录制。ego 视角直接作为 VLA 训练的观察输入，因为它和部署时头部摄像头看到的画面本质相同。exo 视角用于人体运动恢复，从外部更容易估计全身姿态和手部关键点。

运动恢复这一步，用现成的计算机视觉工具从 exo 视频里估计人体关键点。论文给出一个反直觉的发现，在灵巧操作场景下，纯相机的视觉估计比动捕服产生的关键点更稳定。原因是动捕服的 inertial capture 存在全局位置漂移和标定误差，而现代视觉姿态估计在这种场景下鲁棒性更好。

拿到关键点后进入分阶段逆运动学（Staged IK），这是把人体运动转成 60 维关节命令的核心步骤。

之所以分阶段，是因为 60 自由度的 IK 一次性求解解空间太大，容易发散。具体是先解手部，再解手臂和手腕，接着是脖子和腰，最后做关节限位和平滑处理。每一步都是一个较小规模的 IK 问题，解的质量更可控。整条管线约 20 FPS，接近视频采集的 15 Hz 帧率，几乎是实时的。

ta拍完视频，动作标签就出来了，不需要离线做几个小时的优化，也不需要上 GPU 集群做 3D 重建。效率上，Human-as-Humanoid 的原始示范产出是动捕遥操作的 4.8 到 7.2 倍。

FK-aware Supervision：对齐的最后一公里

硬件对齐解决了形态问题，运动学转换解决了动作标签问题。但还剩一个微妙的gap：关节空间和任务空间之间的一致性。

这是什么意思？

当你把人体运动通过IK转换成60维关节角度后，这些关节角度在数学上是合法的。它们在关节限位之内，可以发给控制器执行。但一个微妙的问题是：同样的一组关节角度，经过正向运动学（FK）计算出的手腕位置和指尖位置，是否真的跟原始人类动作要达到的任务空间位置一致？

这个问题在低自由度系统里不太明显。但60个自由度的系统有大量的运动学冗余。同一个手腕位置可以由很多组不同的关节角度实现。IK求解器可能找到一组在关节空间上看起来合理的解，但在任务空间上（比如两根手指捏合的精确位置）产生了偏移。

对于灵巧操作来说，这种偏移是致命的。你拧一个瓶盖，拇指和食指的相对位置差了2毫米，就是拧得住和拧不住的区别。

Human-as-Humanoid为此引入了一个叫DS-HKC（Dual-Space Hierarchical Kinematic Consistency）的训练目标。核心思想是：VLA模型输出的关节命令，不仅要在关节空间上接近转换后的标签，还要在经过FK计算后的任务空间上。特别是手腕位置和指尖位置，要保持几何一致性。

这相当于在训练VLA时加了一个物理约束：模型必须理解60个关节维度之间通过运动学链耦合在一起，改变一个肩关节角度会影响到指尖的位置。这迫使模型学到的不是60个独立数字的映射，而是一条完整运动学链上的协调运动。

实验验证这个设计有效的证据是：他们训练了一个离散动作tokenizer，只在human-derived的机器人动作块上训练，然后在从未见过的真机遥操作轨迹上测试重建精度。归一化MAE是0.008，95%分位数也只有0.0097。这意味着从人类视频转换出的动作，和真机遥操作产生的动作，占据几乎相同的流形。

真机实验：zero-shot部署的含金量

论文展示了四个真机任务的部署结果：倒水、装袋、拧瓶盖、放环，以及三个高难度的few-shot任务。

需要强调的是，倒水、装袋、拧瓶盖、放环这些任务是zero-shot完成的。VLA策略在这些具体任务上从未见过真机演示数据。它的训练数据全部来自转换后的人类视频。

几个任务涵盖了精细操作的核心挑战：倒水需要手腕旋转的精确控制和倾倒角度的实时调整；拧瓶盖需要拇指和食指的精细捏合加旋转协调；装袋需要双手配合把物体放入柔性容器；放环需要对齐精度。这些都不是简单的pick-and-place。

为什么一定要zero-shot？因为Human-as-Humanoid证明机器人本体不只是一个展示终端，它是 AI训练、迁移和验证过程中的关键基础设施。尤其是拟人体机器人，如果它的结构、自由度和动作空间更接近人，就更有可能承接人类数据里的动作经验，把“人怎么做”转化为“机器人怎么做”，用人的数据作为语料做预训练和驱动机器人。在这方面，深度机智也是最早用全栈落地技术，全闭环验证，系统性的回答机器人为什么要拟人的。深度机智拟人体Prime系列去年9月4号发布，是全球第一个量产的工业级全自由度拟人体。

以前为什么没人这么做

如果从硬件设计想人类数据这么有效，那自然要问，为什么大部分团队并没有想到。

一方面，做算法的和做硬件的，长期是两拨人，两套评价体系。算法团队拿到的是一台已经固定下来的机器人，本体对他们来说是不可改的基础设施，能做的只是在既有身体上设计更好的学习方法。硬件团队交付的是一台通用平台，模型对他们来说是之后才接进来的东西。两边各自把对方当成给定的前提，都缺乏另一方面的问题意识。

另外一方面，用大量人类数据学习的重要性，被排在了为特定场景应用设计硬件之后。

但人类数据这件事，恰恰在两层的交界面上。ego 视频要能直接当训练输入，靠的是视角对齐；运动学映射要足够简单，靠的是身体比例和关节范围对齐。手部自由度的分布也要对齐，才能承接人手的接触和抓取。这些没有一条是纯算法或纯硬件能单独解决的。

真正的通用性其实在中间，两层之间有大量共享的约束，只有一起设计才谈得上软硬协同。

深度机智：用系统思维来处理人类数据

Human-as-Humanoid不是一篇孤立的论文。

从2025年创立以来，DeepCybo深度机智一直在做同一件事：用人类数据训练机器人智能。但它不是简单增加数据量，而是从底层重新思考“人到机器人”的映射关系。

早期的 PhysBrain 系列，把人类第一视角视频转化为物理常识，让模型学习空间关系、状态变化、动作执行、深度关系等真实世界交互信息，并在SimplerEnv、RoboTwin、RoboCasa等具身智能评测中验证了人类第一视角数据在物理认知和泛化能力上的价值。

但如果只到这里，人类视频仍然主要是在帮助模型看懂世界。

Human-as-Humanoid往前推了一步：在理解物理世界之后，人的动作能不能进一步变成机器人学得会、做得出的动作数据？机器人能不能不依赖目标任务真机示教，仅凭人类视频转换出的动作经验，在真实物理世界里完成任务？

这也是深度机智人类学习路线的一次系统验证。

早在2025年10月10日公布《源于人，超越人》时，深度机智就已经明确提出三条技术原则：以人类数据为起点，以动作为中心建模，以及Robot for AI。

陈凯在采访中曾把具身智能的 scaling law 拆成三个阶段：先scaling人类数据，让模型从最广泛的人类第一视角数据中学习物理常识和交互规律；再scaling本体数据，让机器人进入真实场景后，通过传感器、动作反馈和接触数据补齐第一视角数据缺失的本体感受；最后scaling工作环境，让机器人在更多任务和场景中持续积累经验，形成自进化的技能飞轮。

从这个角度看，Human-as-Humanoid是第一阶段的关键研究，它让人类数据不再只停留在理解世界的层面，开始进入生成动作的层面。

Prime系列机器人，正是这套思路的硬件载体。

这一系列包括72自由度全身版Prime、60自由度上半身版Prime U和教育版Prime Lite。相关产品已从研发验证走向产品化交付，并在教育、科研及具身智能数据等场景取得市场订单。