(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210835850.8 (22)申请日 2022.07.15 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 米金鹏　吴旭明　唐宋　刘丹　 马致远　 (74)专利代理 机构 上海邦德专利代理事务所 (普通合伙) 31312 专利代理师 周念沙 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06T 7/70(2017.01) G06T 7/13(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向非结构场景中垃圾拾取任务的高 效感知方法 (57)摘要 工作场景感知是机器人高效实现指定任务 的重要前提， 得益于深度学习的发展， 现有方法 可实现高性能的工作场景感知， 但要求较高的计 算能力导致这些方法难以部署于低算力的平台 上， 本发明针对移动机器人在非结构化场景中的 垃圾拾取任务， 构建了一个包含12类垃圾的数据 集， 并以此提供一种面向非结构场景中垃圾拾取 任务的高效感知方法， 该方法在YOL Ov4目标检测 的基础上， 设计了一种基于K ‑means++聚类的深 度信息优化方法， 并结合图像形态学变化和 Canny边缘检测算法实现物体角度估计,实验结 果表明了本发明方法准确率高、 实时性强， 对于 非结构化场景中的干扰信息(如背景、 物体材质 等)具有一定的鲁棒 性。 权利要求书4页 说明书14页 附图4页 CN 115187905 A 2022.10.14 CN 115187905 A 1.一种面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在于， 针对移动机器 人在非结构化场景中的垃圾拾取任务， 构建一个包含12类垃圾的数据集， 并依据所述数据 集提出基于YOLOv4目标检测和TensorRT加速的高效感知方法， 其中， 所述移动机器人包括 机器人平台实体以及固定于所述机器人平台实体上的自主搭建的六自由度轻量型机械臂 和深度相机； 所述高效感知方法具体包括如下步骤： S1： 使用所述深度相机获取目标区域的彩色图与深度图； S2： 将彩色图输入YOLOv4检测模型中， 获得相机视野范围内多个物体的边界框和类别； 结合所述深度图并用K ‑means++聚类算法和四分位距异常点检测， 获取 目标物体的深度信 息， 并计算目标的抓取坐标； S3： 结合彩色图、 图像形态学变化和Can ny边缘算法快速获取目标物体的抓取角度； 所述移动机器人根据 所述高效感知方法中获得的抓取坐标和抓取角度， 通过机械臂完 成垃圾拾取任务。 2.根据权利要求1所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 所述S2中， 所述移动机器人截取深度相机拍摄视频的其中一帧的彩色照片作为模型输 入所述检测模型， 所述检测模型抓取目标边界框的边界框大小和 位置值了， 所述边界框大 小和位置值表示为x、 y、 w和h， 所述x和y为左上角坐标、 所述w和h分别为边界框的框宽和框 高， 同时设定边界框的中心为抓取点， 从而获取目标在彩色图中的二维坐标(u,v)， 并为后 续坐标转换做准备。 3.根据权利要求1所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 所述S2中， 所述YOLOv4检测模 型的锚框不直接采用COCO数据集的初始设定， 而是根据12 分类垃圾数据集的真实框大小分布重新 生成。 4.根据权利要求1所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 所述S2中， 为了在进行坐标更换时能过得到更准确的抓取坐标， 依次通过物体边框改 进、 异常深度信息检测 和深度值聚类这 三个方法获取 更准确的深度值。 5.根据权利要求4所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 所述物体边框改进具体为通过YOLOv4检测模型返回抓取目标的x、 y、 w和h值， 然后通过 计算公式得到用于深度值聚类的新的边界框值(x ′， y′， w′， h′)， 其中， x ′的计算公式表示 为： y′的计算公式表示 为： w′的计算公式表示 为： w'＝ λw h′的计算公式表示 为： h'＝ λh权　利　要　求　书 1/4 页 2 CN 115187905 A 2其中， λ为 边界框的缩放比例。 6.根据权利要求5所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 异常深度信息检测具体为通过删除异常点使数据量减小， 从而另深度值聚类的速度提 升， 删除异常点的计算方法步骤如下： SA1： 输入： 经 过物体边框改进后的b box深度值矩阵depth_data作为输入； SA2： 排序： 将 深度值数据depth_data按升序排序； SA3： 下四分位数： Q1为depth_data 中25％分位的数值； SA4： 上四分位数： Q3为depth_data 中75％分位的数值； SA5： 四分位数间距： I QR＝Q3‑Q1； SA6： outl ier_step＝step*I QR， 其中， step需预 先设置值； SA7： 当深度值小于Q1 ‑outlier_step或大于Q3+outlier_step时， 所述深度值为异常 点， 删除所述异常点。 7.根据权利要求6所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 所述K ‑means++算法通过如下步骤使初始的聚类中心更为远离， 从而获得更好的初始 值： SZ1： 设定簇数k， 从输入样本x中随机选取初始聚类中心c1， 将聚类中心放入空集合 SZ2： 计算数据集 中的每个样本数据与当前已有的聚类中心c∈A之间的最短距离D (x),然后使用概率公式以及轮盘法选取下一个聚类中心 所述概率公式表示 为： SZ3： 重复SZ2， 直至 选出3个聚类中心， 并将第二个聚类中心作为 最终的估计深度值。 8.根据权利要求7所述的面向非结构场景中垃圾拾取任务的高效感知方法， 其特征在 于， 相机坐标转换具体基于二维坐标(u,v)和步骤SZ3得到的最终深度值这两个参数， 计算 抓取点在世界坐标 下的抓取坐标， 计算公式表示 为： 其中， K为相机内参矩阵， M为相机外参矩阵， R和T分别为相机与世界坐标系之间的旋转 矩阵和平移矩阵， Xw为目标物体在世界坐标系的坐标， (u,v)为像素坐标的抓取点， 世界坐 标系原点定为机械臂底座原点； 由于制 造工艺的问题， 深度相 机的镜头存在径向畸变和切 向畸变， 因此坐标转换之间需要进行畸变矫正， 畸变参数distortioncoeffs＝[k1， k2， k3， p1， p2]， 抓取点在相机坐标系下的坐标(xc， yc， zc)依次通过公式五、 公式六和公式七得出， 所述公式五表示 为：权　利　要　求　书 2/4 页 3 CN 115187905 A 3