出品:机器人未来视界
目前,动作捕捉技术主要应用于电影制作、游戏开发、医疗健康、体育科学等领域。随着人形机器人市场的爆发,动作捕捉技术的应用场景将大幅拓展,并贯穿于机器人的运动控制、行为认知、人机交互等训练场景中。
据相关机构数据预测,到2027年,人形机器人有望为我国动作捕捉市场带来500亿元的增量空间。但当前,在全球动作捕捉系统市场上,海外厂商仍占据主导地位。
8家主流的海外动作捕捉方案/设备厂商
1. Xsens(荷兰 - 惯性动捕)
Xsens 成立于2000 年,总部位于荷兰恩斯赫德,专注于开发和提供基于微型 MEMS 惯性传感器技术的 3D运动捕捉产品,为人体运动数据的捕捉、处理和共享,提供优质解决方案。公司于2017年被Mcube收购,现为Movella旗下品牌。
1)主要产品:惯性传感器、动作捕捉套装(Xsens Link 和Xsens Awinda)以及 Xsens Analyze分析软件等。
a. 惯性传感器:主要有 MTi 系列和 Sirius 系列。另外,Xsens 惯性传感器产品还支持多种集成等级,包括 IMU(惯性测量单元)、VRU(垂直参考单元)、AHRS(姿态和航向参考系统)、GNSS/INS(全球导航卫星系统 / 惯性导航系统)以及 RTK - GNSS/INS(实时运动差分定位的全球导航卫星系统 / 惯性导航系统)。不同的产品类型和集成等级可满足自动驾驶、机器人技术、航空航天、海洋应用等各种领域的特定需求。
b. 动作捕捉套装:Xsens Link 和Xsens Awinda。
c. Xsens Analyze 软件 :专门用于全身运动学分析的软件,具有可扩展的生物力学模型,并支持多达四个硬件设置和多个校准程序。软件可以生成详细的人体运动模型,展示参与者在运动过程中的姿态、动作以及关节角度等变化。研究人员可以利用这些数据进行生物力学分析、人体工程学评估以及运动科学研究等。
2)应用领域:电影和动画制作、游戏开发、虚拟主播、医疗保健等领域。
3)应用案例
a. 特斯拉 Optimus
在2023股东大会上,特斯拉发布了人形机器人相关的宣传视频。在视频中,特斯拉展示了几种如何"训练"机器人了解现实世界的场景。其中一种方法就包括通过操作员穿着动捕服来要遥操控制机器人去采集数据。据了解,这些数据是通过Xsens Link系统和Xsens Metagloves 手套(手套由Manus公司生产)来采集。
首先,穿着 Xsens 套装的人类作员实时控制机器人的运动,捕获精确的运动数据。其次,机器人在远程作过程中收集所有传感器数据,以增强其对运动和环境的理解。再次,结合运动和传感器数据用于 AI 深度学习,从而完善机器人的运动模式。最后,机器人使用 AI 驱动的洞察力在各种条件下自主执行学习到的动作。
b. 北京人形机器人创新中心
2024 年,北京人形机器人创新中心发布通用人形机器人 “天工”,研究团队通过 Xsens 可穿戴设备,用动作捕捉的方式进行训练,让机器人在动作处理上更为灵活多变,姿态上更加生动自然。
Xsens动捕辅助“天工”进行姿态训练(图片来源:官方公众号)
2. Manus(荷兰 - 动捕手套)
Manus 成立于 2014 年,总部位于荷兰埃因霍温。公司主要致力于开发高端手指跟踪手套和身体跟踪解决方案,服务于动作捕捉和虚拟现实等行业。
1)主要产品:包括Quantum量子数据手套、Prime3系列数据手套,兼容ROS、Unity、Unreal Engine等开发平台,提供SDK支持二次开发。
另外,除手部外,捕捉产品也扩展至全身动作捕捉方案。比如,Manus Polygon全身跟踪技术解决方案 —— Polygon是一个兼容unity和UE4的IK系统,它可通过较少的跟踪点而计算全身的动作数据,而且系统便于集成到第三方软件,还能根据全身实际比例实现自校准。另外,该方案与Prime手套系列兼容,并支持本地或通过现有网络连接多用户。
Manus 两款数据手套(图片来源:公司官网)
其中,在机器人领域主要应用的数据手套是Metagloves Pro 和 Quantum Metagloves。
两者之间的相同点:
技术原理:都采用量子跟踪技术,使用毫米级精确的指尖跟踪传感器,利用端点、绝对位置跟踪,无漂移,可提供高度准确和可靠的手指捕捉数据,能捕捉手部细微动作。
功能应用:都支持实时流传输、录制和导出数据,通过 Manus Core 软件及插件,可将手指数据实时传输到 Unreal、Unity 等应用程序,也可录制会话并导出为 FBX 或 CSV 文件,还都具备时间码和同步锁定功能,以及可通过外部软件触发录制
电池模块:均采用可更换电池设计,支持连续使用,避免因电池电量问题影响工作流程。
两者之间的差异点:
尺寸选择:Metagloves Pro 有多种尺寸可供选择,能更好地适配不同用户的手型;Quantum Metagloves 未明确提及尺寸选择相关信息,只提到传感器可多种方式佩戴在指尖,纺织手套支持清洗且传感器和电池等可轻松拆卸。
模块设计:Metagloves Pro 强调模块化、可扩展设计,有可更换的顶部模块,便于升级或更换组件,支持多用户,可根据不同应用和参与者数量自定义设置;Quantum Metagloves 虽未重点强调模块化设计,但提到使用 Manus 通用安装系统,可轻松安装各种追踪器,且支持即插即用的 Manus Polygon。
2)应用领域 :广泛应用于虚拟现实游戏、教育培训、模拟训练、工业设计验证、人机工程等多个领域。
3)应用案例
2016 年,Xsens 和 Manus 开始合作,致力于为用户提供结合手部和身体动作捕捉的解决方案。Xsens 的动捕套装可以与 Manus 的数据手套直接集成—— Xsens负责捕捉人体的身体动作,Manus 手套专门用于精确捕捉手指的动作,从而形成一个完整的人体动作数据集合。
在特斯拉Optimus 机器人的训练中,Xsens 动作捕捉系统配备了 Manus 的 Quantum Metagloves 数据手套。
3. Vicon(英国 - 光学动捕)
Vicon成立于1984年,总部位于牛津郡亚恩顿村。公司致力于为生命科学、媒体与娱乐、虚拟现实以及工程等多个领域设计和定制开发运动捕捉系统,以分析和提升人类运动潜能,造福人类。
1)主要产品:Vicon红外三维运动捕捉系统 —— 系统通过先进的红外摄像技术和计算机视觉算法来实时追踪记录人体或其他被测对象的三维运动数据。
a. Valkyrie 系列相机:包括VK26、VK16和VK8。其中,相机的分辨率最高达2620 万像素,刷新率最高 2000FPS ,视觉预览模式30FPS ,拥有稳定跟踪性能和校准精度,与 Evoke 软件搭配可实现自我调整能力。
三款Valkyrie系列的相机(图片来源:公司官网)
b. Vicon Markerless无标记动作捕捉系统:无需传统标记点和动捕服,核心包含新型无标记运动跟踪摄像机 “Vanguard”,以及 “Shōgun Markerless” 软件。Vanguard 红外相机配备高性能镜头、1080p 120FPS 数据捕捉能力和强大红外传感器,紧凑轻便、即插即用。软件融合先进计算机视觉、机器学习与算法,支持实时动画、数据回放和后期处理,有手动和自动数据清理工具套件。
c. Vicon Hybrid(融合)光学动作捕捉解决方案:将 Vanguard 红外相机与现有 Vicon 动捕相机兼容,实现有标记点捕捉和无标记点捕捉完美融合,所有硬件、场地校准和原始捕捉数据通过 Shōgun 软件统一处理。
2)应用领域:广泛应用在电影特效制作、生命科学、体育科技、康复医学、虚拟现实以及工程等诸多领域。
3)应用案例:据了解,Vicon 与波音、福特、宝马、宾夕法尼亚大学和美国国家航空航天局(NASA)等机构合作,在机器人研发方面,其动捕系统为设计尖端机器人提供高精度数据。
4. AIQ Synertial(英国 - 惯性动捕)
AiQ Synertial成立于1993 年。公司总部位于英国东萨塞克斯郡布莱顿,是全球领先的惯性动作捕捉技术公司。
1)主要产品:G6 系列动作捕捉套装和手套 —— 采用 15 轴 IMU,能够测量每秒高达 4000 度的旋转,可精确捕捉细微动作;
a. MoCap套装:提供18/30传感器套装两个版本。
备注:不同版本之间主要区别在于所使用的惯性传感器数量不同。
MoCap套装:18/30传感器版本(图片来源:公司官网)
b. MoCap手套:提供9/12/16传感器手套三个版本。
备注:不同版本之间主要区别在于所使用的惯性传感器数量不同。
MoCap手套:9/12/16传感器版本(图片来源:公司官网)
2)应用领域:动画制作与游戏开发、体育与生物力学研究、工业 4.0 与自动化等领域。
3)应用案例:在具身智能机器人领域,暂未查询到详细合作应用案例。
5. Motion Analysis(美国 - 光学动捕)
Motion Analysis成立于 1982年5月,总部位于美国加利福尼亚州圣罗莎市。公司定位为提供运动捕捉系统和运动分析解决方案。
1)主要产品:提供基于光学原理的动作捕捉系统,包括相机、软件以及配套的标记点等。例如其 Thunderbird marker - based optical motion capture system(雷鸟标记点式光学动作捕捉系统)、Cortex运动捕捉软件和Kestrel系列相机。
a. Cortex 动作捕捉软件:具有集成手套跟踪、强大的标记点模板和增强的批处理工具等功能,可将基于标记点的动作捕捉与详细的手指跟踪相结合,还能简化对象校准和实时识别,优化工作流程。
b. Eagle 数字动作捕捉及分析系统:光学式动作捕捉中的被动式动作捕捉系统,通过相机捕捉标记点来获取动作数据,定位精度高、实时性强、使用方便。
c. Vespa 无人机跟踪套件:包含 Cortex 软件、2 个 Firefly 主动标记点套件和 12 个 Lhotse相机,是一套用于无人机跟踪的即用型套件。
2)应用领域:技术被广泛应用于生物力学、运动表现、游戏制作、虚拟现实等领域。其中,在动画和电影制作领域,曾为《阿凡达》、《猩球崛起》等电影提供动作捕捉服务。
Motion Analysis动作捕捉方案应用领域(图片来源:公司官网)
3)应用案例:在具身智能机器人领域,暂未查询到详细合作应用案例。
6. Phasespace(美国 - 光学动捕)
Phasespace 成立于 1994 年,总部位于美国加利福尼亚州圣莱安德罗。公司定位为动作捕捉解决方案提供商。
1)主要产品:包括Impulse X2E主动式光学动作捕捉系统、Impulse X2手套以及PhaseSpace Master和Configuration Manager相关软件等。
Phasespace动作捕捉设备(图片来源:公司官网)
a. Impulse X2E :主动式光学动作捕捉系统,由 LED 模块、摄像头、处理硬件以及软件等组成,通过多镜头对多个 LED 做三角测量,获得目标的位置信息。采用高亮 LED 作为光学标识,LED 受脉冲信号控制明暗,以此对 LED 进行时域编码识别,识别鲁棒性好,跟踪准确率较高。
b. Impulse X2手套:是一款手指跟踪解决方案。手套上共配有八个 LED,每个指尖上有一个(拇指上有两个),另外两个在背面。与Impulse X2 系统套件联用时,能提供实时全身动作捕捉。
c. 软件方面:可以提供PhaseSpace Master和Configuration Manager等。
PhaseSpace Master(主客户端):将硬件连接到软件。将使用它来校准体积、定义跟踪对象并连接到 MotionBuilder 等外部应用程序。
Configuration Manager(配置管理器):设置和远程监控 PhaseSpace 系统的主界面。Configuration Manager 可在服务器网络上的任何浏览器(如 Firefox 或 Chrome)中运行。甚至可以从手机的网络浏览器校准您的系统。还可以配对驱动程序并监控所有跟踪设备的电池电量。
产品特点:高精度、独特的标记点ID、环境适应性强、操作简便等。
高精度:相机可在全亚像素分辨率 36,000x36,000 下以 960Hz 的频率记录,精度达到亚毫米级(~20μ),能精确捕捉运动的最细微方面。
独特的标记点 ID:主动式 LED 标记点具有唯一的数字 ID,消除了标记点交换的问题,使得该系统非常适合多演员拍摄、大规模道具制作和实时跟踪应用,减少了数据清理工作。
环境适应性强:可以从严格控制的实验室环境到野外阳光直射等广泛的环境中捕捉精确的 3D 数据,具有宽范的工作范围;
操作简便:系统操作简单流畅,一个人即可完成设置和运行。而且,系统可扩展性强,可从 2 台相机扩展到 48 台以上。
2)应用领域:影视动画制作、虚拟现实、体育与医疗、教育与培训、科研与国防等。
3)应用案例:在具身智能机器人领域,暂未查询到详细合作应用案例。
7. Qualisys(瑞典 - 光学动捕)
Qualisys成立于1989年,总部位于瑞典哥德堡。公司定位为精密动作捕捉和 3D 定位跟踪系统的领先提供商。
1)主要产品:包括动作捕捉相机以及动作数据跟踪分析软件。Qualisys运动捕捉系统能够同时支持主动式和被动式,同时支持室内和室外甚至是水下捕捉,在全球35个国家安装使用已超过700多套。
高速红外摄像机:如 Arqus、Miqus 系列等。
分析软件:如 QTM 数据管理软件,以及Calqulus 等用于生物力学数据处理的软件。
其他配件:包括标记球、标记点套装、校准设备等。
据了解,Qualisys号称是世界上唯一可提供水下运动捕捉摄像机的厂商,拥有先进的骨骼解算器,能解决多个骨骼、手指运动甚至动物的动作捕捉。
水下运动捕捉设备需要配备专门的滤光镜和图像处理软件,以尽量消除水下环境中光的折射、散射和衰减等干扰因素所造成的影响。
2023 年 1 月,该公司又推出了 Arqus A9UW 和 A12UW 水下运动捕捉摄像机,摄像机产品辨率可达 9MP - 12MP,镜头能兼顾红外采集和高速视频采集,可在 40 米水深压力下稳定工作,相机的重量和体积经过平衡设计,具有中性浮力,便于在水中操作。
2)应用领域:影视动画制作、体育科学、生物力学与康复、海洋研究及工业领域等。Qualisys 水下运动捕捉摄像机已在多个领域得到成功应用。在生物力学与康复领域,可与水下跑台结合,分析患者水中康复的下肢步态;在体育科学方面,用于分析游泳运动员出发、划水等技术动作;在影视动画制作中,结合 QTM 的骨骼解算功能,捕捉演员水下动作;在海洋研究及工业领域,可追踪自由运转的水下航行器、缆绳、渔网和石油管道等水下运动物体 。
3)应用案例
a. 海洋、陆地及两栖机器人研究:法国土伦大学机械和机器人实验室(Cosmer)的研究人员使用 Qualisys 水下运动捕捉系统,由 5 个 Miqus Underwater 水下摄像机组成,用于多个研究项目。
b. 多机器人野外三维环境协同感知与目标追踪:2022年,北京大学工学院购置了Qualisys 公司的 “水下机器人三维运动捕捉系统”,用于为多机器人野外三维环境协同感知与目标追踪控制提供水下定位、通讯保障。
8. Rokoko(丹麦 - 惯性与光学动捕)
Rokoko 成立于 2014年3月,总部位于丹麦哥本哈根,是一家消费级动作捕捉和动画技术产品品牌。公司的定位是为所有创作者提供动作捕捉和 3D 动画工具,致力于打破动画和交互式故事讲述的障碍,让任何人都能将自己的创意想法变为现实。
1)主要产品:动作捕捉解决方案,核心产品包括Smartsuit Pro(全身动作捕捉套装)、Smartgloves(智能手套)、Face Capture(面部捕捉解决方案)等。
Rokoko 动作捕捉设备(图片来源:公司官网)
a. Smartsuit Pro:基于惯性测量单元(IMU)的、无标记的动作捕捉套装。它依靠传感器和无线网络实时记录或传输动作到角色,无需电线或摄像头。最多可同时捕捉五人,通过添加额外路由器还能增加角色限制,且处理的数据量相对较小,传输速度快。
b. Smartgloves:手指跟踪手套,用于精确捕捉手指的动作,可与 Smartsuit Pro 配合使用,也可单独使用。
手指跟踪手套:Smartgloves(图片来源:公司官网)
c. Face Capture:能够实时捕捉面部表情和动作的面部捕捉软件。与其他 Rokoko 的动作捕捉产品集成,可实现包括面部在内的全身完整动作捕捉,为虚拟角色赋予更生动的表情和情感。
d. Rokoko Vision:基于 AI 的视频动作捕捉系统。用户可通过单摄像头或升级到双摄像头进行动作捕捉。单摄像头适合休闲动作捕捉,为初学者提供了进入动画世界的便捷入口;双摄像头设置可提供更高的跟踪精度,适合对准确性要求高的专业人士,能提供增强的深度感知并最小化盲点。
e. Coil Pro:无标记绝对位置跟踪设备。采用 EMF 动作捕捉技术的最新创新,可实时消除漂移和遮挡,为身体和手指提供全局定位。重量为 240 克,配备 60FPS 摄像头,可集成到基于 Windows、macOS 或 Android 的动画工作流程中。与 Smartsuit Pro II 和 Smartgloves 配对,可提供无缝的全身动画体验,确保动作捕捉的准确性和连续性。
2)应用领域:包括动画与视觉特效制作、游戏开发、虚拟直播、教育培训、体育分析、医疗康复等领域。
3)应用案例:斯坦福大学的 DexCap 项目 —— 该项目利用 Rokoko的动捕手套进行实时数据流传输,结合自定义环境配置,确保了数据的准确性和即时性。DexCap 旨在简化并加速大规模动捕数据的采集过程,专为提升机器人的精细操作能力设计。