阅读时间大约3分钟(1117字)
今天,我们正式开源 VISTA-Grasp双臂机器人遥操作系统。
VISTA是Virtual Interface for Spatial Teleoperation and Ambience缩写,VISTA‑Grasp: An Immersive VR Teleoperation System for Robot Grasping(沉浸式 VR 机器人抓取遥操作系统)
在具身智能与机器人遥操作领域,低延迟、高沉浸感的交互体验始终是技术落地的核心诉求。 VISTA-Grasp—由穹明智能(QiongMing-Intelligence)自主研发的轻量级WebXR遥操作系统,基于WebXR、WebRTC与ROS生态打造,为双臂机器人提供端到端的沉浸式遥操解决方案,无需复杂配置,开箱即可上手!
为什么打造VISTA-Grasp?
传统机器人遥操作方案往往面临「部署复杂、延迟高、跨平台适配难」三大痛点:依赖专用XR开发套件、视频回传延迟突破秒级、多设备端口映射与ROS适配需大量定制开发。针对这些问题,VISTA-Grasp从底层架构出发,重构了遥操链路,实现「轻量化、低延迟、易部署」的核心目标。
VISTA-Grasp:四大核心特性,重新定义遥操作体验
1. 多模态XR控制:浏览器即入口,适配主流头显
基于WebXR标准构建,无需安装专用APP,在头显浏览器中即可完成高精度头部姿态跟踪、双手控制器位姿采集,完美适配Meta Quest 3等主流XR设备,摆脱封闭生态依赖,降低硬件使用门槛。
2. 超低延迟视频回传:双路WebRTC,沉浸式第一人称视角
集成双路WebRTC视频流,将机器人端视角的 camera0(主视角)与 camera1(辅助视角)画面无延迟推送到VR头显,局域网内端到端延迟在毫秒级,打造「身临其境」的第一人称遥操体验,精准感知机器人作业场景。
3. 高性能双臂运动学:毫秒级IK解算,动作映射更丝滑
开发机端集成Pinocchio与CasADi开源库,实现十毫秒级高频逆运动学解算,将XR手柄的手部动作平滑映射到7自由度机械臂关节,兼顾运动精度与流畅度,适配双臂协同、精细抓取等复杂操作场景。
4. 开箱即用的极简部署:一键启动,无缝对接ROS
采用前后端分离架构,搭配tmux自动化启动脚本,无需手动配置多进程;内置标准ROS桥接层,可直接对接头部、双臂、夹爪及底盘的控制话题,支持「真实机器人+无头模拟」双模式——无硬件也能通过dummy.py完成仿真测试。
5分钟快速上手:从安装到遥操仅三步
第一步:环境搭建(开发机端)
Bash
# 克隆项目
git clone https://github.com/your-company/yqbz_teleop.git
cd yqbz_teleop
# 配置后端环境(AMD64架构,macOS用env_arm64.yaml)
conda env create -f env_amd64.yaml
conda activate teleop
# 安装前端依赖
cd frontend
npm install
cd ..
第二步:启动服务
Bash
# 开发机启动前端+后端核心服务
cd run
./start.sh
# 机器人端启动ROS桥接与摄像头(无机器人则运行python backend/bridge/dummy.py)
cd run
./rob.sh
第三步:连接VR头显,开始遥操
Bash
# 端口映射(以Meta Quest为例)
adb connect <VR_IP>:5555
adb reverse tcp:5173 tcp:5173
adb reverse tcp:5174 tcp:5174
戴上头显,浏览器访问http://localhost:5173,点击「进入AR」,即刻开启双臂机器人遥操!
视频demo:
企业级进阶能力:可定制、可扩展
为满足工业级定制需求,VISTA-Grasp提供完善的进阶文档体系:
•系统配置与自定义端口指南:灵活调整网络、硬件适配参数;
•ROS话题映射规范:按需对接不同品牌机械臂、传感器;
•WebRTC视频流调试:针对性优化视频延迟、画质;
•贡献者指南:支持企业团队协作开发、功能定制。
写在最后
VISTA-Grasp的开源,旨在降低具身智能遥操作技术的落地门槛,让更多开发者、企业快速上手高质量的XR机器人遥操方案。我们会持续迭代功能、完善文档,期待你的Star与贡献!
项目地址:
https://github.com/qiongming-intelligence/VISTA-Grasp
https://gitee.com/QiongMing-Intelligent/VISTA-Grasp
