清华重磅开源！路径规划和机械臂抓取全搞定！首个支持闭环干预的虚实融合平台

3Ｄ视觉工坊

于 2025-05-22 07:05:39 发布

阅读量113

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247727929&idx=1&sn=f0c08346b89d1b2d7d7e7fcaeed58184&chksm=faa001de4d5a6eea3835dc485d940042c791b3e492d02ac142684bbaf2f2159bb7983f11a7f0&scene=126&sessionid=0

版权

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章提出了一个名为 DVS 的动态虚实融合仿真平台，融合了可配置的行人行为模拟、大规模室内场景、光学动作捕捉系统和基于 ROS 的虚实双向通信机制，旨在解决当前机器人系统在动态复杂场景下虚实迁移困难的问题。平台设计了两个核心模块，分别支持数据感知生成与机器人任务学习，构建了大规模虚实融合数据集，并通过一系列实验验证了平台在抓取任务、轨迹预测、社交导航等典型任务中的有效性。结果表明，该平台显著提升了机器人在现实任务中的成功率和鲁棒性，实现了虚实闭环交互，推动了人机协作与动态环境适应能力的发展。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Demonstrating DVS: Dynamic Virtual-Real Simulation Platform for Mobile Robotic Tasks

作者：Zijie Zheng,Zeshun Li1等

作者机构：Tsinghua University等

论文链接：https://arxiv.org/pdf/2504.18944

2. 摘要

随着具身人工智能的发展，机器人研究越来越聚焦于复杂任务。然而，现有的仿真平台往往局限于理想化环境、简单的任务场景，并缺乏数据的互操作性。这限制了任务分解与多任务学习的能力。此外，目前的仿真平台在动态行人建模、场景可编辑性以及虚实同步等方面也面临挑战，这些限制阻碍了机器人的现实部署与反馈。为了解决上述问题，我们提出了 DVS（Dynamic Virtual-Real Simulation Platform，动态虚实融合仿真平台），一个面向移动机器人任务的动态虚实同步平台。DVS 集成了随机行人行为建模插件以及大规模、可自定义的室内场景，用于生成带注释的训练数据集。平台配备了光学动作捕捉系统，实现了虚拟与现实世界中物体姿态和坐标的同步，从而支持动态任务的基准测试。实验验证表明，DVS 支持如行人轨迹预测、机器人路径规划和机械臂抓取等任务，具备良好的仿真与现实部署潜力。因此，DVS 不仅仅是一个多功能机器人平台，更为机器人执行任务中的人类干预研究及虚实融合环境下的实时反馈算法研究提供了新方向。更多关于该仿真平台的信息，请访问：https://immvlab.github.io/DVS/

3. 效果展示

仿真平台交互界面:左侧面板调整动态行人参数，右侧面板选择感知数据类型。

行人轨迹预测的可视化，其中每种颜色代表不同的行人。当预测轨迹(短虚线)与真实值(GT，实线)接近时，预测的准确性更高。在静态障碍物密集的环境中，如室内，预测的未来轨迹可能导致碰撞(红色矩形框)。

4. 主要贡献

提出一个面向机器人研究的虚实融合仿真平台 DVS，通过虚实同步与 ROS 通信实现闭环的 sim-to-real 转移验证，支持广泛任务类型；
提供动态环境建模能力，包括行人行为模拟与灵活场景编辑，生成多样且高质量的数据，增强复杂任务执行；
引入可干预式工作流程，支持物理部署过程中的实时场景调整，虚实同步机制提升了动态环境下的适应性，已在操作任务中得到验证。

5. 基本原理是啥？

这个平台的基本原理就是通过虚拟环境和真实环境的紧密结合，实现对机器人和人的行为、任务的模拟、训练和验证。具体来说：

虚拟环境构建：搭建大规模、可配置的室内场景，并用计算机生成虚拟的人和机器人行为，形成虚拟数据和任务场景。
真实环境反馈：通过光学动作捕捉等设备获取真实环境中机器人的动作和状态数据。
虚实双向通信：利用ROS（机器人操作系统）实现虚拟环境与真实机器人之间的实时信息交互，做到虚拟任务和真实任务互相影响、相互校准。
闭环控制与干预：平台能监控真实机器人执行任务的过程，并通过虚拟环境对任务进行实时干预和调整，提高任务执行成功率。
数据驱动的优化：通过虚拟数据和真实反馈不断优化机器人控制策略和行为模型，实现更精准、更可靠的机器人操作。

6. 实验结果

导航与人机交互支持实验表明，平台能够有效支持机器人导航和人与机器人互动的研究，机器人在复杂动态环境中的任务执行表现良好，实现了闭环控制的能力。
任务成功率提升通过虚实双向通信和平台对任务的实时干预，机器人的抓取任务等操作成功率显著提升，特别是在实际部署环境中，减少了因环境差异导致的失败。
虚实同步效果优越利用光学动作捕捉和ROS系统，真实机器人动作与虚拟环境同步精确，有效校正了位置误差和传感器噪声，提高了仿真和现实的匹配度。
算法性能验证在平台中测试了多种轨迹预测和社交导航算法，发现平台能够反映复杂室内环境对算法性能的影响，并为算法优化提供了良好的实验基础。
平台适用性强实验结果证明平台适合多种机器人研究任务，包括动态行人轨迹预测、社交导航和人机交互等，能在动态复杂环境中稳定运行。

7. 总结 & 未来工作

我们提出了一个动态虚实融合仿真平台，集成了可配置的行人行为模拟、大规模室内环境、光学动作捕捉系统以及基于ROS的虚实双向通信。该平台引入了两个主要的虚实融合创新模块，有效克服了现有机器人仿真系统在处理动态场景和实际部署方面的局限性。实验结果表明，DVS平台支持导航与人机交互研究，能够在真实任务中实现闭环性能。

未来的工作将重点关注触觉反馈的集成、基于人工智能的干预策略的开发，以及对工业机械臂的兼容性提升。该平台为闭环虚实交互建立了新的范式，推动了人机协作与动态环境适应能力的发展。

本文仅做学术分享，如有侵权，请联系删文。