1天前 丹飞：人类和机器人动作不同，但世界变化相同

作者：Marilyn     出品：具身纪元

Ego数据在scale到一定程度后，我们需要回答如何更高效地利用人类数据，并且抓住最核心的人类数据的表征，为机器人所用。

直觉上，把这些人类视频加入训练，机器人应该变得更聪明。佐治亚理工学院团队的新论文 EgoWAM却发现，用行为克隆直接学习动作，机器人有时会退步。

同一只杯子，人是侧着手腕从旁边拿起来的，顺手一转就摆正了。两条 ARX5 机械臂上的平行夹爪做不到这个动作，它只能正面靠近、卡住杯壁。

研究者把人的手腕轨迹转换成机器人动作，再与真机示范一起训练。问题在于，人的侧腕抓法超出了平行夹爪的可执行范围；行为克隆照着这条轨迹学，真机上就会反复调整，仍然够不到杯子。

EgoWAM的一作宝瑜和我说，她们这篇最想解决的问题是：1）如何更高效地利用人类数据；2）在世界模型的框架下，什么样的表征最利于人到机器人的迁移。

我们也很有幸邀请到了Georgia Tech的博一学生宝瑜到我们灵光一现的播客，为大家详细介绍了一下这篇作品EgoWAM，以及她对人类视频数据、世界模型的思考和认知。预告如下，尽请期待我们的正片！

她研究生师从李昀烛，博士阶段师从徐丹飞老师，目前的研究方向是人类视频、世界模型。

Figure 1，EgoWAM 总览。左侧是实验室机器人数据与野外第一视角人类数据，中间是相机运动、形态、行为风格三重差异下 BC 与 WAM 两种联合训练的对照，下方是三种世界表征对三条标准的满足情况

直接把视频数据当作遥操作数据来用，为什么不行？

Figure 10，机器人平台与数据采集。(a) 遥操作，(b) 示范者自然采集，(c) 示范者刻意对齐机器人的动作、高度与视角

第一视角数据的采集成本确实低，也更容易scale up，但人和机器人之间横着一条本体鸿沟。

人的头会自然转动，手腕的自由度也更多，不同示范者的行为习惯各不相同。

最直接的是动作层联合训练，EgoMimic 和 Humanoid Policy ~ Human Policy 都把第一视角人手示范重定向到机器人动作空间，人类数据和真机数据混进同一个批次训练模仿策略。

这条路线的优点很现实：可以直接复用现成的模仿学习管线。它的限制也同样明确：效果高度依赖人机对齐，人的视角、速度和抓取方式越接近机器人，数据越容易起作用。

让人刻意站在接近机器人的位置，用接近夹爪的方式完成任务，确实能够减少分布差异，却也提高了采集门槛。自然人类数据最有价值的地方原本就是规模与多样性，如果每个示范者都要模仿机器人，数据飞轮很难真正转起来。

绕开动作的运动表征。另一类路线开始提取视频中的点轨迹、光流或物体运动，再把这些中间表征用于策略学习。与此同时，World Action Model 逐渐受到关注：模型既预测动作，也预测动作发生后世界会变成什么样。

问题随之转移到了世界表征。多数方法沿用视频生成模型，预测未来像素或压缩后的像素特征。这种目标会奖励画面重建，却未必奖励机器人真正需要的理解。

背景纹理、光照变化、人手外观和头部晃动都可能占据表示空间。生成画面很清晰，也不等于物体状态正确。

什么样的表征，才能跨过人和机器人的鸿沟？

论文先预设了三条标准：

第一条是外观抽象。

宝瑜在访谈里说，像素预测更关心画面细节，但跨本体迁移真正需要的是任务语义和空间结构。好的表征要弱化人手、夹爪、纹理和光照等表面差异，保留“这是什么物体、它在哪里、当前处于什么状态”这些决定任务的特征。

第二条是跨本体一致。

不同本体完成同一件事，应该产生相似的物理效果。人手和夹爪的动作轨迹可以不同，但如果都让杯子离开桌面并移动到茶碟上，世界表征就应该把这两段变化视为相近。模型需要对齐的是交互造成的物理结果，而不是执行动作的身体。

第三条是剔除相机自运动。

第一视角画面同时包含两种运动：物体真的移动，以及人转头导致整幅画面一起移动。如果模型分不清两者，就会把“头动了”误当成“场景变了”。因此表征要尽量抵消头部和相机的转动，只保留物体与场景真实发生的变化。

围绕这三条标准，论文把三种未来表征放进同一套模型里比较。它们的差别不在于是否预测未来，而在于预测未来的哪一层信息：画面、语义特征，还是三维运动。

Pixel VAE：预测画面。

它要尽量还原未来画面，所以人手、夹爪、纹理、光照和相机转动都会被一起保留下来。它是三种方案中的重建基线，也最容易被表面差异干扰。

DINO：预测语义特征。

它不再要求逐像素还原，而是更关注物体类别、形状和布局，因此能弱化外观差异，也更容易把人和机器人完成同一任务的结果拉近。不过，DINO 特征仍然跟着二维图像网格走，转头造成的整体位移还没有被完全消除。

3D Flow：预测真实的三维运动。

它关心每个三维点在一段时间里移动了多少，并利用相机位姿抵消转头造成的画面运动。处理后，静止背景的运动接近零，被拿起的杯子、被折叠的衣服才保留真实位移。这也是三种表征中唯一同时满足三条标准的方案。

框架是什么？

方法上，EgoWAM 沿用 EgoVerse 已验证的 HPT 跨本体框架。人和机器人共享第一视角这一路，机器人额外使用腕部相机和本体状态；两边的动作则统一到 14 维末端执行器空间，方便在同一主干中联合训练。

主干上方有两个输出方向。Action Head 负责预测接下来的动作，World-Model Head 负责预测未来状态。训练时，两种损失共同更新共享主干：动作监督告诉模型示范者打算做什么，世界监督要求它理解这个动作会让场景发生什么变化。

拿杯子可以说明两条通道的差别。

人可能从侧面握住杯子，机器人从正面夹住杯子，两条动作轨迹差异很大。可在动作完成后，杯子都应该离开桌面并移动到茶碟上。世界预测通道给模型提供了一个更稳定的共同目标。

Figure 2，模型架构。(a) HPT 主干加三路 stem、动作头与可换的世界模型头，(b)(c)(d) 分别是 VAE 视频预测头、RAE 的 DINO 预测头和 3D flow 预测头

这一设计还有一个容易被忽略的特点。EgoWAM 并不要求机器人部署时持续生成未来。训练结束后，World-Model Head 可以被移除，推理只运行共享主干和动作头，控制频率保持在30Hz。世界预测在这里主要承担训练期的表征塑造：它帮助主干学会关注任务相关的动力学，部署时则不再增加额外延迟。

李宝瑜在访谈中特别澄清，EgoWAM的主要收益来自训练阶段学习动作与世界变化的联合分布，而不是推理阶段反复“想象”未来。这一点很重要：它不是让机器人上线后多跑一套昂贵的规划流程，而是把世界模型当成训练时的老师，用额外监督改变共享主干怎样组织人类与机器人数据。

团队没有换成更大的视频底座，首先是因为学术组算力有限，大模型会让实验迭代变得很慢。更重要的是，这项工作的目标是比较不同世界表征，而不是追求最大的模型；使用较小、结构清楚的 HPT，更容易保证 Pixel、DINO 和 3D Flow 的比较只改变一个变量。

更麻烦的是，要把 DINO 和 3D flow 接到视频主干上，还得先做一层表征对齐，这一层本身就会污染变量受控的对照实验。HPT 的三段式结构本来就是为跨本体设计的，EgoVerse 也验证过它可用，在上面增加一个世界模型头是改动最小的做法。

实验结论：世界模型是否更有优势？什么表征有效果？

论文把问题放进三类难点不同的双臂任务里。

杯子放茶碟考察随机位姿下的翻正、交接和精确放置，叠衣服考察可形变物体，购物袋装物包含开袋和连续放入三件物品。每项任务采集 300 至 360 条机器人遥操作示范。

与机器人示范配对的，是两档人类数据。第一档仍在相同场景、使用相同物体，每项约 2 小时，数据量与机器人示范接近。第二档取自 EgoVerse 的自然场景分片，示范者、场景和物体都不对齐；三项任务合计后，人类与机器人数据总体约为 10:1。

宝瑜把此前常见的实验现象概括为，1:1 或 2:1 更容易稳定，因为人类数据继续增加时，机器人策略容易被动作差异带偏。EgoWAM 故意把比例推到约十倍，检验统一的世界预测目标能否承受这种失衡。它要回答的是，规模扩大后，收益会不会反转。

Figure 5，真机 rollout 定性对比。三个任务上行为克隆、Pixel 与 WAM 变体的成功与失败序列

跨三个任务出现的第一条分界线，来自训练目标。

直接模仿人类动作时，同一批数据经常导致负迁移；把人类视频用于预测未来世界，收益则稳定得多。UMAP 也给出相同线索：行为克隆把人类和机器人编码成两簇，WAM 训练后的嵌入明显靠近。共享主干开始按任务中的共同变化组织信息，不再只按两种身体各自的动作方式分类。

作者又在 RoboTwin 2.0 仿真环境中测试，不同机器人的数据能否互相帮助。在“抓取多种瓶子”任务上，加入其他机器人采集的数据后，DINO 模型的成功率从 4% 升到 28%，行为克隆只从 2% 升到 6%。ACT-EE 和 DP-EE 虽然也把不同机器人的动作统一成末端执行器坐标，成功率仍不超过 5%。统一动作格式只能解决数据接口问题；世界预测监督才让模型从另一种机器人的经验中学到可以迁移的物体运动规律。

Figure 4，主干嵌入的 UMAP。行为克隆把人类与机器人的表征分成不同的簇，世界-动作模型把它们对齐进同一个空间

训练目标解决了数据怎样进入共享主干，世界表征则决定模型从视频里学什么。

Pixel 仍受外观和图像坐标牵制。购物袋装物中，它会在空处闭合夹爪，因为预测画面里的袋子已经被提前打开；叠衣服时，它又会混淆几何关系，做不到折第三折。

DINO 和 3D Flow 展现出两种不同优势。DINO 更擅长把语义迁到陌生物体和场景，把分布外泛化最高提升 4 倍。3D Flow 对三维位置和运动更敏感，域内性能提升 20% 到 30%。

Figure 3，三个任务上域内与分布外的定量对比。百分比是加入 EgoVerse 人类数据之后相对机器人单训的增益

3D Flow 的优势还体现在工作空间的覆盖上。杯子出现在行为克隆容易失败的位置时，它仍能完成翻正、交接和放置。Figure 6 里的绿色点说明模型对三维运动关系的掌握扩展到了更大的工作空间，超出了少数熟悉杯子位置的记忆。

Figure 6，3D flow 的空间增益。工作空间里不同杯子位置上，绿色是 3D flow 成功、红色是行为克隆失败

主实验说明了 3D Flow 的表现更强，却还不能排除一种可能：它也许碰巧遇到了更容易对齐的人类数据。

论文随后从两个方向操纵对齐程度，专门检验这个解释。一次破坏原本接近的动作，另一次把原本错配的视角和抓法人工拉近。

第一组用购物袋装物。这个任务里，人和机器人的动作天然接近，行为克隆原本也能从人类数据获益。研究者重新采集一批示范，让人采用平行夹爪难以复现的抓法。对齐被破坏后，BC 从 40% 的机器人单训基线降到 20%；3D Flow 仍有 75%，没有随动作错配一起下降。

Figure 8，未对齐人类数据的消融。行为克隆大幅下降，3D flow 稳住

第二组把方向反过来，选择人机差异最大的杯子放茶碟。示范者改用接近机器人夹爪的抓法，相机也被固定到与机器人 Aria 相近的高度，人的头部转动基本从数据里消失。

人工对齐明显帮助了依赖图像坐标的表征。Pixel 从 35% 升到 65%，DINO 从 50% 升到 70%。实验没有增加新的任务内容，变化的只有抓法和相机视角；这两项外部处理分别为它们补回了 30 个和 20 个百分点。

3D Flow 在两套数据下都保持 85%。

Figure 9，对齐人类数据的消融。人工对齐显著改善 Pixel 和 DINO，对 3D Flow 几乎没有影响

这个对照把因果关系说得更清楚。Pixel 和 DINO 要靠人主动模仿机器人、固定相机，才能回升 20 至 30 个百分点；3D Flow 在构造目标时已经用相机位姿消除了自运动，又把监督落在物体的三维变化上。人工对齐能完成的两件事，它已经在表征里处理了。

不过，3D Flow 也没有让动作标签变得多余。动作标签+3D Flow的成功率高于只给3D Flow。

Figure 11，人类数据模态消融。只给动作标签、只给 3D flow、两者联合三种设定在域内与两种分布外划分上的对比

它没解决的，和它暂时解决不了的

动作泛化尚未实现。EgoWAM 改善了上下文泛化，却还没有让机器人从人类视频里学会全新的元动作。

机器人数据只包含折短袖时，人类数据里即使出现折短裤或长袖，机器人仍可能沿用折短袖的动作顺序。它学会了在新场景中执行旧技能，还没有掌握根据物体结构重新组合动作。

精细操作仍是明显边界。在 RoboTwin 的挂杯实验中，包括 DINO 和3D Flow在内的所有方法成功率都不超过1%。把杯子套入细杆需要毫米级接触精度，语义抽象和三维运动监督可以帮助识别物体、理解大尺度运动，却不能自动补足精确控制能力。

访谈中，李宝瑜把这组矛盾概括为“还原精度与泛化性的冲突”：任务越强调精细接触，策略越容易依赖训练分布中的固定动作；依赖越强，换物体、换场景后的表现就越容易下降。EgoWAM减少了这种过拟合，却还不能让灵巧性和泛化性同时达到很高水平。她认为，这仍是机器人学习里尚未解决的开放问题。

最优世界表征没有定论。DINO 易于端到端训练，但隐式特征很难直接评价；3D Flow 可解释性更强，却依赖仍有噪声的三维追踪；Pixel 可以生成视觉上清晰的未来，也可能受到错误视觉先验影响。

目前还没有完美的表征，最优的世界表征，仍需要继续探索。

人和机器人可以拥有不同身体、不同视角和不同动作习惯，但它们仍然作用于同一个物理世界。

当模型开始学习跨越本体仍然成立的共同的表征的变化，人类视频才可能真正成为机器人学习的数据飞轮。