机器人训练数据怎么来?10家企业拆解具身智能数据采集路线
统计 阅读时间大约10分钟(3948字)

2小时前 机器人训练数据怎么来?10家企业拆解具身智能数据采集路线

来源:AI工业
作者:Andy   出品:AI工业WAIC2026的机器人展区里,有人握着主臂控制远端机械臂,有人戴着外骨骼手套抓取物体,还有人把...

作者:Andy     出品:AI工业

WAIC 2026 的机器人展区里,有人握着主臂控制远端机械臂,有人戴着外骨骼手套抓取物体,还有人把相机和传感器直接穿在身上。展台屏幕上显示的也不只是视频,还有关节角、末端位姿、力曲线和触觉信号。

这些设备都在回答同一个问题:机器人训练所需的动作经验,究竟怎样采回来?本文选取 10 个现场案例,按真机遥操作、人类示范、触觉采集和仿真评测四种做法展开。部分企业同时涉及多种方法,文中只讨论其本次展出的重点。

253bc078b5080f5d10c6216d3604d182.jpg

图示来源:依据 WAIC 2026 现场资料、企业技术资料、论文、数据集与开源项目整理;每家企业按本文讨论重点归入一条主路线。

一、直接遥控真机:动作与机器人状态一起记录

人负责观察和操作,机器人跟着执行。相机画面、关节状态、末端位姿和夹爪动作会被同时保存;配有力觉或触觉传感器时,接触信息也会一并记录。这类数据与目标机器人直接对应,但每个采集工位都要占用一台真机和配套设备。

1. 思灵机器人

Diana 3 + Diana 7 G2力反馈遥操作 · 力觉、运动与视觉同步采集

思灵机器人在 WAIC 2026 展出由 Diana 3 主端和 Diana 7 G2 从端组成的力反馈遥操作数据采集系统。操作者移动 Diana 3,Diana 7 G2 同步复现动作;主从端通过低时延双向力反馈传递接触、摩擦和碰撞信息,帮助操作者完成精细控制。系统同步记录力觉、运动与视觉数据,可用于模仿学习、强化学习和力控算法验证。

ac1d794d865bac3f7428fda0063f090a.jpg

WAIC 2026 思灵机器人展位,操作者通过 Diana 3 主端控制 Diana 7 G2 从端完成抓取。素材来源:思灵机器人。

采集结束后,示范轨迹、力/力矩和控制参数还要保持时间同步,才能用于训练和复现实验。下面的论文系统图给出了从人工示范到控制器验证的完整数据流。

fa537d577ed4c333fd1258ed72c4d51a.jpg

论文中的完整数据流:人工示范同步生成运动轨迹与力/力矩数据,随后进入动态运动基元、强化学习和导纳控制模块。

论文:https://arxiv.org/abs/2203.07191

2. 艾欧智能

TeleXperience 全身遥操作 · 真机后训练数据采集

艾欧智能在 WAIC 2026 同时展示了面向双臂灵巧操作和全身运动的 TeleXperience 遥操作数据采集系统。一套方案由穿戴式手部设备控制机器人双臂与灵巧手;另一套方案让操作人员通过 VR、全身动捕和力反馈手套,把动作实时映射到宇树 G1。采集数据与目标本体对齐,可用于模型后训练,并可进入 EmbodiFlow 完成标注、审核、管理和训练格式导出。

dfbf8d385072197c20c9fd67db6427fd.jpg

WAIC 2026 艾欧智能展区,操作人员通过穿戴式手部设备控制机器人双臂与灵巧手。素材来源:艾欧智能。

遥操作采回来的原始记录需要回放、时间对齐和质量检查。艾欧智能开源的 ROSView 支持 MCAP、ROS bag、HDF5、BVH 等格式,可在同一时间轴查看图像、点云、关节状态和 TF,便于检查 TeleXperience采集的数据是否完整、同步。

eaf7fb20777b42d62e7da5463764ab43.jpg

ROSView 官方开源界面:在同一时间轴中回放多路相机画面、机器人关节状态与 URDF 三维场景。

开源项目:https://github.com/ioai-tech/rosview

3. 宇树科技

全身动作采集 · G1 执行本体与真机数据生成

宇树科技在 WAIC 2026 展示了面向机器人训练的数据采集:操作人员佩戴全身 VR 动作采集设备完成插花、整理等任务,现场生成动作数据。大会的 CMG 机器人机甲格斗赛中,G1 还作为执行本体参与人体姿态的实时映射,动作采集频率为 30Hz 以上;该全身遥操作系统由艾欧智能 TeleXperience 提供。

5bae400436badff9ca73a1aac3000196.jpg

WAIC 2026 CMG 机器人机甲格斗赛现场,操作员的全身动作经艾欧智能 TeleXperience 实时映射到宇树 G1。视频来源:央视科教。

宇树官方开源的 unitree_lerobot 提供数据回放、坏片段删除、区间裁剪、格式转换、模型训练和真机验证等工具;配套的 G1_Dex3_ToastedBread_Dataset 则把 G1 的真实采集记录整理成可直接加载的 LeRobot 数据集。

3be8c29b509b174f7393e3ec34c9fd1b.jpg

Unitree Dataset Editor 界面:回放多路相机数据,按 episode 和时间段检查、裁剪或删除不合格片段。

开源项目:https://github.com/unitreerobotics/unitree_lerobot

数据集:https://huggingface.co/datasets/unitreerobotics/G1_Dex3_ToastedBread_Dataset

二、先记录人的操作:不占用机器人,也能收集示范

真机数量、场地和维护成本会限制采集速度。于是,一些企业把设备穿在人身上:操作员佩戴采集服、手套、头戴相机或手持夹爪,照常完成作业,系统记录第一视角、手部轨迹、身体姿态和接触信息。采集时不用占用机器人,也更容易进入工厂、仓库和家庭。

4. 灵初智能

外骨骼手套 · 无本体多模态人类数据采集

灵初智能在 WAIC 2026 展示了无本体人类数据采集方案。操作者佩戴轻量化外骨骼触觉手套完成抓取、拼接等动作,系统同步记录视觉、关节运动与触觉信号;旁侧世界模型界面实时呈现操作轨迹,并将人类示范加工为机器人可学习的训练数据。采集时不占用特定机器人,可以直接进入工厂、仓库等作业环境。

01cbc605774d6a5e3a1d031719749af5.jpg

WAIC 2026 现场,操作者佩戴灵初智能外骨骼手套完成示范,旁侧屏幕显示世界模型对采集动作的处理结果。视频来源:福爸说人形机器人。

灵初智能还公开了 SynData 多模态数据集,分为第一视角、外骨骼手套、背景替换和触觉采集等子集。每条记录在同一时间轴上保存 RGB、深度、头部与腕部位姿、手部关节、指尖关键点和触觉信号,可用于视觉—动作建模、模仿学习和多模态研究。

SynData 官方演示画面:同一套外骨骼手套在家庭、办公和工业环境中完成多类人类操作示范。

67b59fd482a9e9cf2ad4c2d69f5e83cb.jpg

数据集:https://huggingface.co/datasets/PsiBotAI/SynData

5. 启智 Openmind

HALO 人类技能全模态采集服 · 人类技能跨本体迁移

埃夫特旗下的启智 Openmind 在 WAIC 2026 展示了 HALO 人类技能全模态采集服。熟练工人穿戴设备完成喷涂、搬运等作业时,视觉、语音、关节姿态、触觉和力觉被同步记录,形成一份带有动作、接触和语境信息的人类示范数据。

346080368ff1e2d8f16f25aea03400ba.jpg

WAIC 2026 埃夫特·启智展位,一侧体验者穿戴人体技能采集装备完成搬运示范,另一侧机器人进行搬运演示。图片来源:科技云报道/腾讯云开发者社区。

这套系统的重点不只是“把动作录下来”,而是把数据继续送入后续工具链:大衍数据平台负责清洗、对齐和治理;HumanGPT 从示范中学习操作方法;RobotGPT 将技能适配到不同构型的机器人;墨斗 IDE 与 Openmind OS 则负责任务编排和真机执行。机器人执行过程中产生的新记录,还能回流到数据平台,形成采集、训练和部署的闭环。

6db2dd5014294fdac5bda1c676cf9840.jpg

同期专利附图:启智与中国科学技术大学共同申请的“基于场景图的机器人自主规划方法”(CN121330686B)。图片来源:企查查。

与这条数据链路相配套的场景图专利,则把“采集后的数据如何用于规划”写得更具体:系统先由多视角图像重建三维点云,识别物体实例及其语义、空间关系,形成场景拓扑图;再将自然语言任务拆成子任务,从场景图中检索相关物体,生成对应的机器人技能序列。它不是直接采集训练数据的专利,但补上了数据从感知进入任务规划的关键一步。

专利地址: https://patent-image.qichacha.com/pdf/25bf1e93c0db4396d8606ef6fefec348.pdf

6. 觅蜂科技

MEgo Gripper / MEgo View · 无本体多模态采集与数据治理

由智元机器人孵化、现已独立运营的觅蜂科技,在 WAIC 2026 展出了 MEgo Gripper、MEgo View 和 MEgo Engine。操作员手持 Gripper 完成抓取、旋转和搬运;View 同时拍摄头部环境和腕部近景。视觉、深度、位姿、运动轨迹和接触数据被送入 Engine,完成时间对齐、轨迹重建、质量检查和标注。

3a62ead7a85ef57355f62ccaedbdafea.jpg

觅蜂科技 MEgo Gripper 官方产品演示(非 WAIC 现场画面):手持夹爪完成操作时,机身屏幕同步显示第一视角采集画面。视频来源:觅蜂科技。

3c059e21f30176a7417cb39f17812499.jpg

MEgo 的三部分分工:Gripper 和 View 记录人类操作,MEgo Engine 负责对齐、筛选和标注。根据觅蜂科技官方资料整理。

技术资料:https://www.maniformer.ai/pages/mego

7. 京东

JoyEgoCam · 第一视角采集—仿真训练—真机验证

京东在 WAIC 2026 展示了一组连续流程:体验者佩戴 JoyEgoCam,在货架前拿取和摆放商品;设备记录第一视角视频、手部轨迹和空间关系。数据经过标注后进入数字孪生环境,用于训练和评测,随后由理货机器人在实体货架上整理、补充商品。

90039b4e28bce052c309986467b38fe3.jpg

WAIC 2026 京东展区,JoyEgoCam 设备展示、佩戴采集与“数据处理”画面连续出现。视频来源:AI冷科长。

京东 Joy Future Academy 同期公开了 EgoLive 数据集及论文。JoyEgoCam 集成立体 RGB 相机和 200Hz IMU,记录接近人类双目视野的第一视角画面。论文披露的数据集包含 1680 小时、约 6.5 万段真实任务片段,覆盖家庭服务、零售等场景,并提供动作轨迹、语义和三维重建标注。

734e44558cde0c842137348fb1a52aa5.jpg

EgoLive 论文 Figure 2:JoyEgoCam 的头戴式硬件、宽视场双目画面与真实做饭场景示例。

论文:https://arxiv.org/abs/2604.23570

数据集:https://robotdata-market.jdcloud.com/console/market

三、补上接触信息:视觉之外的力和滑移

相机能看见手靠近物体,却不容易判断纸杯是否被捏瘪、插头是否卡住、物体有没有开始滑动。这些发生在接触瞬间的变化,需要触觉和力觉传感器来记录。

8. 他山科技

TS-ECHO 数采指套 · 触觉、受力与视觉对齐

他山科技在 WAIC 2026 展示了 TS-ECHO 触觉数据采集指套。数采员将指套佩戴在指尖后直接抓取和接触物体,系统同步记录手部动作、接触位置与各指受力等触觉变化,现场屏幕实时显示多维触觉数据。TS-ECHO 重量不到 100 克,轻量化设计尽量减少对手部重心与运动轨迹的干扰,适合在真实操作中连续采集接触、受力与滑移等触觉信息。

eec9427f5c1bea0e1f3f00de9e1541ec.jpg

WAIC 2026 他山科技展位,演示人员佩戴 TS-ECHO 触觉感知指套,连续抓取并旋转彩色物体。视频来源:时代财经。

TactileEcho Capture 记录接触位置、接近觉、三维受力、触点变化和滑移,并把这些信号与手部轨迹、物体画面对齐。数据可用于训练触觉感知模型,也可检查机器人抓持和人机交互是否稳定。

163368e31a3404881cb0fea566ae6436.jpg

TactileEcho Capture 触觉数据栈:由轻量化指套采集接触与受力信息,并与动作、视觉数据对齐。根据他山科技官方资料整理。

技术资料:https://tashantec.com/robot

9. 千觉机器人

XTac UMI G1 · 视触觉数据采集与触觉任务验证

千觉机器人在 WAIC 2026 展出了 XTac UMI G1 穿戴式视触觉多模态数据采集夹爪。设备集成视触觉传感器、腕部鱼眼相机和位姿传感器,可同步保存视觉、触觉、位姿、夹爪状态及 IMU 数据,用于模仿学习、VLA/VTLA 模型和触觉世界模型研究。同一展台上,双臂机器人还演示了纸盒成型:纸板被人为移开后,机器人重新接触纸板,继续展平、折叠和压实。

9333fa2b1f60a5d769e538c69d67a274.jpg

WAIC 2026 千觉机器人展台,搭载 VTLA 模型的双臂机器人在纸板被人为移动后重新接触并继续完成纸盒成型。视频来源:新华网。

一次 XTac UMI G1 示范会同时留下几类记录:相机看到的物体、夹爪的移动轨迹、接触发生的时间、触觉变化以及夹爪开合状态。这些记录共享同一时间轴,可直接用于模仿学习、VLA/VTLA 和触觉世界模型实验。

6842a8bc39fab0435cc9606edc419c54.jpg

XTac UMI G1 视触觉采集栈:视觉、触觉、位姿、夹爪状态和 IMU 数据在同一设备上同步获取。根据千觉机器人官方产品资料整理。

技术资料:https://www.xenserobotics.com/product/35

四、仿真与评测:让真机数据覆盖更多场景

真机采集很难遍历所有物体、环境和失败情况。仿真系统可以替换场景和物理参数,批量生成训练样本;统一的评测环境则用于比较不同模型,并把真机运行中暴露的问题带回下一轮实验。

10. 光轮智能

Real2Sim2Real · 数据、仿真、评测与真机记录

光轮智能在 WAIC 2026 展示了四套相互衔接的产品:EgoSuite 采集并整理人类第一视角操作数据,SimFoundry 提供物理仿真环境,RoboFinals 用标准任务评测模型,RoboStack 收集真机部署中的运行记录、失败样本和现场约束。

c488db867567d94e010f2826ee54c59b.jpg

光轮智能 EgoSuite 工业装配数据采集示例(非 WAIC 现场画面):操作人员安装按钮和开关,画面同步呈现手部轨迹、身体姿态与动作级语义标注。视频来源:光轮智能。

光轮还公开了两套工具。LW-Egosuite-DevKit 可转换和查看 EgoSuite 的 MCAP 数据;LW-BenchHub 提供多机器人、多任务的统一评测环境。前者处理采集文件,后者负责复现实验和比较策略。

5b2ea752dee7c8029011460751c89149.jpg

光轮智能的四部分分工:采集人类示范、扩展仿真场景、评测机器人策略,再收集真机运行记录。根据官方产品与开源资料整理。

开源项目:https://github.com/LightwheelAI/LW-Egosuite-DevKit

开源项目:https://github.com/LightwheelAI/LW-BenchHub

把这 10 家企业放在一起看,机器人数据已经不再等同于“一段操作视频”。有人直接记录真机的关节和力矩,有人采集人的第一视角与手部动作,有人专门补触觉,也有人用仿真扩大场景。最后能否用于训练,取决于这些画面、动作、接触和任务结果能不能在同一时间轴上对得起来。

推荐阅读
{{item.author_display_name}}
{{item.author_display_name}}
{{item.author_user_occu}}
{{item.author_user_sign}}
×
右键可直接复制图片
×