(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210465716.3 (22)申请日 2022.04.29 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 史元春　罗慧一　喻纯　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 潘红 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) H04N 5/232(2006.01) (54)发明名称 一种控制机 器人的方法、 装置及电子设备 (57)摘要 本发明提供了一种控制机器人的方法、 装置 及电子设备， 其中， 该方法包括： 获取目标用户的 当前手势数据， 当前手势数据包括手部的多个关 键点的坐标； 根据当前手势数据中多个 关键点的 坐标确定当前手势数据的手势 类型； 在当前手势 数据的手势 类型为运动手势的情况下， 确定当前 手势数据的变化程度， 并生 成用于控制机器人运 动的连续控制指令； 连续控制指令的类型与当前 手势数据的手势 类型相一致， 连续控制指令的控 制量与当前手势数据的变化程度之间为正相关 关系。 通过本发明实施例提供的技术方案， 在运 动手势的变化程度与机器人的物理量变化之间 建立增益的映射关系， 实现目标用户在机器人前 能够连续、 自由灵活、 高效地控制该机 器人。 权利要求书3页 说明书19页 附图7页 CN 114860076 A 2022.08.05 CN 114860076 A 1.一种控制机器人的方法， 其特 征在于， 包括： 获取目标用户的当前手势数据， 所述当前手势数据包括手部的多个关键点的坐标； 根据所述当前手势数据中多个所述关键点的坐标确定所述当前手势数据的手势类型； 在所述当前手势数据的手势类型为运动手势的情况下， 确定所述当前手势数据的变化 程度， 并生成用于控制 机器人运动的连续控制指令； 所述连续控制指令的类型与所述当前 手势数据的手势类型相一致， 所述连续控制指 令的控制量与所述当前手势数据的变化程度 之间为正相关关系。 2.根据权利要求1所述的方法， 其特征在于， 所述关键点的坐标为绝对坐标系中的绝对 坐标； 所述根据所述当前手势数据中多个所述关键点的坐标确定所述当前手势数据的手势 类型， 包括： 将所述当前手势数据中多个所述关键点的绝对坐标转换为相对坐标系中的相对坐标； 在手势类型保持不变的情况 下， 所述相对坐标系能够保持不变； 根据多个所述关键点的相对坐标确定所述当前手势数据的手势类型。 3.根据权利要求2所述的方法， 其特征在于， 所述相对坐标系为以手掌表面和掌心朝向 为基准所确定的坐标系， 所述掌心朝向为垂直于所述手掌表面的方向。 4.根据权利要求3所述的方法， 其特征在于， 在所述将所述当前手势数据中多个所述关 键点的绝对坐标转换为相对坐标系中的相对坐标之前， 还 包括： 确定所述手掌表面中的第一向量； 确定所述手掌表面中， 位于以所述第一向量 为法向量的平面中的第二向量； 确定垂直于所述第一向量和所述第二向量的第三向量； 确定所述第一向量、 第二向量和第三向量对应的单位向量基， 基于所述单位向量基建 立所述相对坐标系。 5.根据权利要求4所述的方法， 其特征在于， 所述当前手势数据中多个所述关键点的相 对坐标满足： pi＝(<si‑s0,ex>,<si‑s0,ey>,<si‑s0,ez>) 其中， pi表示关键点i的相对坐标， si表示关键点i的绝对坐标， s0表示腕部关键点、 掌心 关键点或指根关键点的绝对坐标， {ex,ey,ez}为所述单位向量基， <,>表示向量内积； 所述腕 部关键点、 所述掌心关键点、 所述指根关键点均为多个所述关键点中的一个。 6.根据权利要求2所述的方法， 其特征在于， 所述根据多个所述关键点的相对坐标确定 所述当前手势数据的手势类型， 包括： 确定所述当前手势数据中多个所述关键点的相对坐标与每种手势类型对应的标准姿 态之间的相似度， 所述标准姿态包括在相应的手势类型下多个所述关键点在所述相对坐标 系中的标准 坐标； 将大于预设阈值的相似度所对应的手势类型作为所述当前手势数据的手势类型。 7.根据权利要求1所述的方法， 其特征在于， 所述确定所述当前手势数据的变化程度， 包括： 在所述当前手势数据的手势类型为移动手势的情况下， 确定在所述当前手势数据的移 动方向上， 所述当前手势数据与第一历史手势数据之间的位移变化量， 将所述位移变化量权　利　要　求　书 1/3 页 2 CN 114860076 A 2作为所述当前手势数据的变化 程度； 在所述当前手势数据的手势类型为旋转手势的情况下， 确定在所述当前手势数据的旋 转方向上， 所述当前手势数据与第二历史手势数据之间的角度变化量， 将所述角度变化量 作为所述当前手势数据的变化 程度； 其中， 所述移动手势、 所述旋转手势均为 一种运动手势。 8.根据权利要求7 所述的方法， 其特 征在于， 所述移动手势为沿掌心朝向移动的手势； 所述确定在所述当前手势数据的移动方向上， 所述当前手势数据与第 一历史手势数据 之间的位移变化 量， 包括： 确定所述当前手势数据对应的掌心朝向d； 确定所述当前手势数据与第 一历史手势数据之间有 效关键点的位移， 所述有效关键点 为多个所述关键点中的一个， 且所述有效关键点的位移满足： 其中， 所述当前手势数据为T 时刻的手势数据， 所述第一历史手势数据为t1时刻的手势 数据， 表示所述当前手势数据中有效关键点i的绝对坐标， 表示所述第一历史手势数 据中有效关键 点i的绝对坐 标， <,>表示向量内积， Distancei(T； t1,d)表示有效关键点i的位 移； 基于至少一个所述有效关键点的位移确定所述当前手势数据与第一历史手势数据之 间的位移变化 量。 9.根据权利要求7所述的方法， 其特征在于， 所述旋转手势为围绕目标手指转动的手 势； 所述确定在所述当前手势数据的旋转方向上， 所述当前手势数据与第 二历史手势数据 之间的角度变化 量， 包括： 确定所述当前手势数据中所述目标手指的朝向drota； 根据所述当前手势数据确定与所述朝向drota不平行的当前向量， 并根据所述第二历史 手势数据确定与所述朝向drota不平行的历史 向量； 所述当前向量和所述历史向量为采用相 同方式从相应的手势数据中所确定的向量； 确定所述当前向量和所述历史向量 分别投影至以所述朝向drota为法向量的平面所确定 的当前投影向量 和历史投影向量 将所述当前投影向量 与所述历史投影向量 之间的夹角作为所述当前手势 数据与第二历史手势数据之间的角度变化 量。 10.根据权利要求9所述的方法， 其特 征在于， 还 包括： 确定方向指示值， 基于所述方向指示值的正负确定所述旋转手势 的旋转方向； 所述方 向指示值满足： 其中， 所述当前手势数据为T 时刻的手势数据， 所述第二历史手势数据为t2时刻的手势权　利　要　求　书 2/3 页 3 CN 114860076 A 3