1天前 终结Sim2Real困境！GSWorld以3D高斯泼溅实现机器人技能零样本落地！

作者：李鑫   出品：具身智能大讲堂

在机器人操控领域，一个长期存在的痛点始终困扰着研究者：如何让机器人在虚拟环境中习得的技能，无缝迁移到真实世界？传统方案要么依赖成本高昂的真实机器人数据采集，要么受限于仿真环境与现实的巨大差异，导致sim2real的迁移效果大打折扣。

来自加州大学圣地亚哥分校、加州大学洛杉矶分校和Meta的研究团队，推出了一款名为GSWorld的闭环照片级真实感仿真套件。这款融合3D高斯泼溅（3DGS）与物理引擎的仿真工具，构建了“现实-仿真-现实”的完整闭环，让机器人策略的训练、评估、故障诊断和优化无需依赖真实机器人即可高效完成，成功打通了虚拟与现实之间的技术壁垒。

1►核心技术支柱：GSDF资产格式与高效重建流程

GSWorld的强大能力，源于其创新的资产格式和 streamlined 的重建流程。研究团队提出了一种名为GSDF（Gaussian Scene Description File）的新型资产格式，将网格上的高斯表示（Gaussian-on-Mesh）与机器人URDF及其他物体信息深度融合，既保留了3D高斯泼溅的照片级渲染能力，又兼容了物理引擎所需的碰撞检测和物理属性。

GSWorld 借助 3D 高斯泼溅（3DGS）重建技术渲染照片级真实感机器人场景，支持在仿真环境中采用多种政策学习方案，并实现零样本仿真到现实（sim2real）迁移。此外，GSWorld 还可应用于政策视觉基准测试，以及用于数据采集的虚拟远程操控场景。

这种资产格式的优势在重建流程中得到充分体现。与传统方法依赖手动对齐、仅适用于单一场景不同，GSWorld的重建流程实现了高度自动化：

首先，数据采集阶段结合了机器人传感器（腕部相机、第三人称相机）和手机相机，同时记录机器人关节姿态，确保多视角数据的完整性；其次，通过在桌面放置ArUco标记物，自动解决了尺度模糊问题，无需手动调整即可获得 metric 尺度的场景表示，同时还能辅助识别支撑面和重力方向；在机器人与桌面对齐环节，通过ICP算法计算刚性变换，由于尺度已固定，相比传统方法减少了自由度，提高了对齐精度；对于可移动物体，不仅整合了DTC、YCB等现有大规模数据集，还支持自定义物体的重建，通过2D高斯泼溅获取几何结构，可选通过非模态重建或3D物体生成技术补全未观测区域。

GSWorld 在现有仿真器基础上提供了一个接口，用于渲染照片级真实感资产。研究团队的 GSDF 资产可与现有仿真器兼容，支持采用标准格式进行视觉渲染（如深度图、分割图）及物理碰撞计算。GSWorld 为仿真器搭配了一层渲染包装层，能让 RGB 渲染达到照片级真实感，进而支持多种领域随机化场景及各类应用场景。

基于这一流程，研究团队构建了包含3种机器人形态（单臂、双臂操控）和40余种物体的GSDF数据库，为后续的多样化应用提供了坚实基础。值得注意的是，GSWorld并非要替代现有仿真器，而是通过渲染包装层的形式，为现有仿真器提供照片级RGB渲染能力，同时兼容深度图、分割图等标准渲染输出，以及物理碰撞计算。

2►五大核心应用：从策略训练到基准测试的全覆盖

凭借照片级真实感渲染和原生动作空间控制的双重优势，GSWorld解锁了五大核心应用场景，全面覆盖机器人策略开发的全流程。

1. 零样本sim2real模仿学习与强化学习

模仿学习（IL）和强化学习（RL）是机器人技能习得的两大核心范式，但均受限于sim2real差距。GSWorld通过3D高斯泼溅生成的照片级观测，大幅缩小了视觉差距。在模仿学习中，利用运动规划或远程操控收集的仿真数据训练的策略，可直接部署到重建的真实场景中；在强化学习中，GSWorld优化了并行环境实现，仅对机器人和物体等运动部件的3D高斯点进行并行处理，其余部分缓存复用，单GPU即可支持大规模并行训练，加速收敛。实验显示，基于GSWorld训练的强化学习策略，在"抓取香蕉"和"整理桌面"任务中，真实世界成功率分别达到30%和20%，而基线方法ManiSkill仅为0%和5%。

2. 闭环DAgger训练：持续优化策略性能

DAgger（数据集聚合）是解决策略部署后故障适应的有效方法，但传统方式难以复现故障场景并收集纠正数据。GSWorld的数字孪生体让这一过程变得高效：在仿真中复现真实世界的策略故障，随机采样仍可完成任务的恢复状态，通过运动规划生成纠正数据，迭代优化策略。

仿真环境中的DAgger数据采集

实验表明，在FR3机器人的四项任务中，DAgger迭代训练相比从头训练，性能显著提升，其中"堆叠罐子"任务的真实世界成功率从60%提升至70%，"整理罐子"任务从55%提升至65%。

更重要的是，这一流程同样适用于基于真实数据训练的策略，通过"真实-仿真-真实"的闭环，持续提升部署后的策略性能。

3. 可复现的视觉基准测试

当前机器人策略评估面临着环境不一致的难题：不同场景、光照、相机参数导致的性能差异，往往掩盖了算法本身的进步。GSWorld提供了标准化的基准测试框架：统一的GSDF资产、固定的相机内参/外参、一致的光照和材料属性，以及标准化的动作语义，确保不同机器人、场景、任务间的" apples-to-apples "比较。实验验证了仿真与真实世界性能的强相关性，无论是ACT还是Pi0架构，仿真中的成功率都能可靠预测真实世界表现，为算法迭代提供了精准的评估依据。

4. 虚拟远程操控数据采集

远程操控是获取高质量机器人数据的重要方式，但真实远程操控成本高、难度大。GSWorld支持通过键盘鼠标在仿真中进行虚拟远程操控，生成照片级真实感视频和数据。

研究团队利用Galaxea R1双臂机器人验证了这一功能，通过键盘操控即可收集复杂的双臂协作数据，大幅降低了数据采集的门槛和成本，为大规模策略训练提供了高效的数据来源。

5. 跨形态机器人策略适配

随着通用机器人策略的发展，跨不同硬件形态的适配能力变得至关重要，但缺乏标准化的评估环境。GSWorld支持多种机器人形态，包括FR3（带UMI夹爪）、xArm6（平行夹爪）和Galaxea R1（双臂），并提供多样化的交互物体和任务设计。研究团队在三种机器人上设计了七项任务，涵盖拾取、放置、倾倒、堆叠等多种核心操控技能，为跨形态策略的训练和评估提供了统一平台。

3►实验验证：数据驱动的性能背书

为全面验证GSWorld的有效性，研究团队设计了多维度实验，核心结论如下：

在零样本sim2real迁移方面，仅使用仿真数据训练的策略，在真实世界中展现出良好的成功率，证明GSWorld有效弥合了视觉和动作空间差距；在闭环策略优化方面，DAgger迭代训练在所有任务中均实现持续性能提升，验证了故障复现和纠正数据采集的有效性；在基准测试相关性方面，仿真与真实世界性能的强相关性，确立了其作为评估工具的可靠性；在虚拟远程操控和强化学习方面，也通过对比实验验证了其数据采集效率和视觉差距缩小效果。

值得注意的是，GSWorld具有策略无关性，实验中采用的ACT和Pi0两种不同架构的策略，均能借助GSWorld实现性能提升，表明其适配各类主流机器人策略框架。同时，研究团队公开了代码库和使用示例，GSWorld可通过一行代码封装现有gym环境，快速集成到现有机器人策略开发流程中。

4►结语与未来：

GSWorld的核心突破在于，首次将3D高斯泼溅的照片级渲染能力与物理引擎的精准碰撞计算相结合，构建了"现实-仿真-现实"的完整闭环。这一创新不仅解决了长期困扰机器人领域的sim2real差距问题，更重塑了机器人策略开发的流程：从数据采集、策略训练、故障诊断到性能评估，均可在仿真环境中高效完成，大幅减少对真实机器人的依赖，降低研发成本，加速迭代周期。

与现有基于高斯泼溅的仿真器相比，GSWorld突破了单一场景限制，提供了标准化的资产格式和自动化重建流程，支持跨形态机器人基准测试和部署导向的策略数据采集。其五大核心应用场景，全面覆盖了机器人策略开发的关键环节，为通用机器人技能的习得提供了强有力的工具。未来，随着3D重建技术和物理引擎的持续进步，GSWorld有望进一步提升场景重建的效率和物理模拟的精度，支持更复杂的操控任务和更多样的机器人形态。

论文地址：https://arxiv.org/pdf/2510.20813

项目地址：https://3dgsworld.github.io/