(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111510789.1 (22)申请日 2021.12.10 (65)同一申请的已公布的文献号 申请公布号 CN 114218702 A (43)申请公布日 2022.03.22 (73)专利权人 哈尔滨工业大 学 （深圳） 地址 518055 广东省深圳市南 山区桃源街 道深圳大学城哈尔滨工业大学(深圳) 信息楼L719 (72)发明人 岳程斐　魏承　曹喜滨　陈雪芹　 吴凡　柳子然　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 刘景祥(51)Int.Cl. G06F 30/17(2020.01) G06T 17/00(2006.01) G06F 119/14(2020.01) 审查员 熊齐兵 (54)发明名称 一种面向空间在轨操控的虚拟视景仿真系 统 (57)摘要 本发明提出一种面向空间在轨操控的虚拟 视景仿真系统， 包括中央控制系统， 工控机， 地面 实验系统， 3D建模软件， 虚拟视景仿真系统， 高清 显示器， 运动捕捉系统； 采用DataSmit h数据导入 工具， 具有种类齐全的3D模型数据导入格式， 可 导入当前主 流的CAD/CAID软件例如SolidWork s、 CATIA、 UG、 3DMax、 C4D等所建立的3D模型， 实现对 机械设计、 场景设计等数据的导入， 满足实验设 计及场景渲染的需求； 采用Unreal  Engine5引擎 进行实时渲染， 做到十分逼真的实时渲染效果； 数据传输采用UDP协议， 具有远程显示功能， 在不 同地方布置固定IP的服务器或者通过UDP穿透技 术可通过互联网远程显示， 根据网络延迟， 实时 显示的延 迟效果大约在50ms级别， 具有很好的远 程演示效果。 权利要求书2页 说明书7页 附图2页 CN 114218702 B 2022.09.16 CN 114218702 B 1.一种面向空间在轨操控的虚拟视景仿真系统， 其特 征在于： 所述仿真系统包括中央控制系统(1)， 工控机(2)， 地面实验系统(3)， 3D建模软件(4)， 虚拟视景仿真系统(5)， 高清显示器(6)， 运动捕捉系统(7)； 所述中央控制系统(1)和工控机(2)之间通过网线 进行数据通讯； 所述工控机(2)和地 面实验系统(3)之间通过网线 进行控制与数据反馈； 所述地面实验系统(3)通过3D建模软件(4)进行建模， 获得3D数据模型， 用于虚拟视景 显示； 所述3D建模软件(4)将3D数据模型导入至虚拟视景仿真系统(5)中， 进行处理与渲染， 生成与地 面实验系统(3)对应的3D仿真视景； 所述中央控制系统(1)通过网络传输与虚拟视景仿真系统(5)进行数据通讯， 同时对工 控机(2)和虚拟 视景仿真系统(5)发送指 令， 实现地面实验系统(3)与虚拟 视景仿真系统(5) 的同步仿真； 所述虚拟视景仿真系统(5)通过DP高清数据线与高清显示器(6)相连接， 实现虚拟视景 的高清显示； 所述运动捕捉系统(7)通过在地面实验系统(3)周围布置摄像头， 实现对地面实验系统 (3)的运动状态的捕捉和解 算， 同时将数据传输 至中央控制系统(1)； 所述中央控制系统(1)能够接收任务 规划模块(8)给 出的具体任务； 所述中央控制系统(1)包括路径规划模块(9)， 运动学模块(10)和动力学模块(1 1)， 所述虚拟视景仿真系统(5)包括UE 5实时渲染引擎(12)和虚拟视景 前端(13)。 2.根据权利要求1所述仿真系统， 其特 征在于： 所述中央控制系统(1)装有用于控制地面试验系统3的软件， 经过TCP/IP通讯协议实现 与工控机(2)的数据交换； 中央控制系统(1)通过网线将软件模拟计算的指令下发给工控机(2)， 工控机(2)通过 网线将地面实验系统(3)返回的数据传输给中央控制系统(1)， 实现中央控制系统(1)与工 控机(2)的通讯。 3.根据权利要求1所述仿真系统， 其特 征在于： 所述工控机(2)装有ethercat主站， 通过网线与地面实验系统(3)相连接， 工控机(2)接 收中央控制系统(1)的指令， 通过ethercat通讯协议将指令传输给地面实验系统(3)， 地面 实验系统(3)根据相应的指 令做出期 望的动作， 并通过传感器测量地面 实验系统(3)的实际 数据， 将实际数据反馈至工控机(2)中， 实现工控机(2)与地面实验系统(3)之间的控制以及 数据的反馈； 所述传感器包括机械臂关节模组内部的编码器、 机械臂关节模组自带的扭矩传感器、 驱动器上的电流测量模块、 机 械臂末端的六维力传感器以及末端视 觉相机； 所述实际数据包括机械臂关节模组的转角、 电流、 扭矩， 机械臂整体末端的力和力矩， 以及末端相对目标的视 觉信息。 4.根据权利要求1所述仿真系统， 其特 征在于： 所述3D建模软件(4)包括SolidWorks,UG,CATIA,Creo工业类CAD设计软件以及Maya, 3Ds Max,C4D,Rhino艺术类3D建模软件， 工业类 设计软件进行参数化的精确建模， 艺术类的 3D建模软件进行场景渲染建模， 共同完成对虚拟视景仿真系统(5)的建模工作。权　利　要　求　书 1/2 页 2 CN 114218702 B 25.根据权利要求1所述仿真系统， 其特 征在于： 所述中央控制系统(1)， 虚拟视景仿真系统(5)以及运动捕捉系统(7)能够布置在同一 台工作站或PC 机上。 6.根据权利要求1所述仿真系统， 其特 征在于： 当仿真系统 处于未接入硬件 模式时， 任务规划模块(8)给出任务需求得到期望轨迹， 传输至路径规划模块(9)， 通过运动学 模块(10)根据期望轨迹解算相应的机械臂关节角， 得到关节角的角速度和角加速度， 传输 至动力学模块(1 1)， 计算各个关节模组需要的力矩； 将运动学模块(10)和动力学模块(11)计算得到 的数据传输至UE5实时渲染引擎(12)， 经虚拟视景 前端(13)将数据显示在高清显示器(6)上， 实现实时仿真的3D显示。 7.根据权利要求1所述仿真系统， 其特 征在于： 所述仿真系统还 包括未安装的实验 装置关键模块(14)， 所述未安装的实验装置关键模块(14)包括机械臂关节模组(15)， 电机(16)， 电机驱动 器(17)， 编码器(18)， 末端六维力矩传感器(19)， 末端相机(20)和末端执 行机构(21)。 8.根据权利要求1所述仿真系统， 其特 征在于： 当仿真系统 处于接入但未安装的实验硬件 模式时， 任务规划模块(8)给出任务需求得到期望轨迹， 传输路径规划模块(9)， 通过运动学模 块(10)根据期望轨迹解算相应的机械臂关节角， 得到关节角的角速度和角加速度， 传输至 动力学模块(1 1)， 计算各个关节模组需要的力矩； 将得到的运动学与动力学参数， 通过工控机(2)上的ethercat主站传输到机械臂关节 模组(15)和末端执行机构(21)， 电机驱动器(17)根据工控机(2)传输的数据控制电机(16) 执行相应的指 令， 同时编码器(18)将实时测量机械臂关节模组(15)的实际旋转角度与角速 度传输至电机驱动器(17)， 电机驱动器(17)实时测量电机的电流大小， 通过电流可控制电 机(16)的输出 扭矩， 进而控制末端执 行机构(21)执 行相应的动作； 末端六维力矩传感器(19)和 末端相机(20)通过测量末端六维力参数及末端位姿参数， 结合末端执行机构(21)的状态 参数以及电机驱动器(17)得到的电流、 关节角度和角速度参 数， 返回到工控机(2)中， 再传输至中央控制系统(1)， 中央控制系统(1)通过网络传输协议 将数据传给UE5实时渲染引擎(12)， 通过虚拟视景前端(13)将数据显示在高清显示器(6)， 实现实时仿真的3D显示。 9.根据权利要求1所述仿真系统， 其特 征在于： 当仿真系统 处于接入实验系统模式时， 任务规划模块(8)给出任务需求得到期望轨迹， 传输路径规划模块(9)， 通过运动学模 块(10)根据期望轨迹解算相应的机械臂关节角， 得到关节角的角速度和角加速度， 传输至 动力学模块(1 1)， 计算各个关节模组需要的力矩； 将得到的运动学与动力学参数， 通过工控机(2)上的ethercat主站传输到地面实验系 统(3)中， 同时地面实验系统(3)将末端 六维力、 末端位姿、 各关节模组电流、 转速、 角度参数 传输回工控机(2)再传输至中央控制系统(1)， 中央控制系统(1)通过网络传输协议将数据 传给UE5实时渲染引擎(12)， 通过虚拟视景前端(13)将数据显示在高清显示器(6)， 实现实 时仿真的3D显示。权　利　要　求　书 2/2 页 3 CN 114218702 B 3