(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211000447.X (22)申请日 2022.08.19 (71)申请人 安徽农业大 学 地址 230031 安徽省合肥市长江西路13 0号 (72)发明人 廖娟　张锴　陈民慧　朱德泉　 张顺　 (74)专利代理 机构 深圳市广诺专利代理事务所 (普通合伙) 44611 专利代理师 王欢 (51)Int.Cl. G01C 21/20(2006.01) G06T 7/73(2017.01) G06V 10/56(2022.01) (54)发明名称 基于双目视觉的插秧机插植系统相对航向 信息检测方法 (57)摘要 本发明公开了基于双目视觉的插秧机插植 系统相对航向信息检测方法， 基于视觉导航具有 较强的自主性， 通过双目视觉获取插秧机邻近的 秧苗行和作业行的秧苗行图像信息， 基于邻近行 的秧苗行线和作业行的秧苗行线推算插秧机车 体的相对航向， 并结合插秧机运动学模型， 确定 插秧机插植系统与插秧机车体的相对航向偏差， 为后续插秧机导航定位进行校正提供支撑， 具有 提高插秧机导航系统纠偏能力和插秧机作业质 量等优点。 权利要求书3页 说明书5页 附图3页 CN 115451965 A 2022.12.09 CN 115451965 A 1.基于双目视觉的插秧机插植系统相对航向信息检测方法， 其特征在于： 具体包括以 下步骤： 步骤S1： 搭建图像采集系统， 包括插秧机、 计算机和两个带有USB接口的工业相机， 工业 相机采集到 秧苗图像并传输 至计算机进行分析处 理； 步骤S2： 构建具有空间约束的逻辑 回归分类模型， 采集用于模型训练的秧苗图像， 对不 同光照条件下秧苗图像样本进行秧苗和背景标注， 划分为训练集和验证集， 并在标注的秧 苗、 背景图像中分别计算获取饱和度与亮度的比值因子S/V和超绿因子2*Cg ‑Cr‑Cb颜色特 征参数， 以训练集图像的颜色特征参数作为输入， 训练逻辑回归分类模型， 并基于验证集图 像的结果优化模型参数； 步骤S3： 获取待检测的秧苗图像中饱和度与亮度的比值因子S/V和超绿因子2*Cg ‑Cr‑ Cb颜色特征参数， 输入到训练好的具有空间约束的逻辑回归分类模型， 实现图像中秧苗、 背 景像素的分类， 获取秧苗二值图像， 并水平、 垂直方向等间隔划分秧苗二值图像， 形成若干 个矩形块， 统计每个矩形块内白色秧苗像素个数， 计算每个矩形块内所有秧苗像素点坐标 的平均值， 以像素平均坐标点作为秧苗行 的特征点， 并采用最小二乘法拟合秧苗行 的特征 点， 实现秧苗行线的提取； 步骤S4： 分别以插秧机的重心、 两工业相机的光心为中心构建导航坐标系统， 其中两个 工业相机场景中视觉坐标系分别为Ov‑XvYvZv和Ot‑XtYtZt， 世界坐标系为O ‑XYZ， 以插秧机邻 近行的秧苗行和作业行 的秧苗行为参考， 结合视觉坐标系与世界坐标系的转换关系， 分别 计算插秧 机车体相对于邻近行的秧苗行线、 作业行的秧苗行线的航向角信息α 、 β； 步骤S5： 通过工业相机参数、 坐标变换来求取作业行的秧苗行线的斜率角γ， 计算插秧 机的插值系统航向角 η＝π/2 ‑γ； 结合插秧机的运动学模型， 以插秧机行驶方向为参考， 推 算插秧机车体与插植系统的相对航向偏差为 将相对航向偏差与插秧机车体位姿 信息进行融合， 作为后续 运动控制所需的决策控制量。 2.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法， 其 特征在于： 所述步骤S1中， 所述两个工业相机， 其中， 一个相机的拍摄视角与插秧机行驶方 向一致， 拍摄插秧机邻近的已插秧苗图像， 另一个相机拍摄视角与插秧机行驶方向相反， 用 来拍摄插秧 机插植系统后方已插的秧苗图像。 3.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法， 其 特征在于： 所述步骤S2中， 构建具有空间约束的逻辑回归分类模型， 基于图像空间邻域像素 的相似程度构建空间约束的逻辑回归分类模型， 对于图像中任一像素点x， 定义其s*s邻域 为Ns(x)， 计算当前像素值与其s邻域像素的相似程度γj(x,xj)， 其计算公式如下： 式中： gc是像素x灰度值， gn是x邻域像素 灰度值， N是邻域像素个数； 基于邻域相似度设置像素邻域空间信 息融合权重， 并将像素邻域空间信 息融合到逻辑 回归分类模型的损失函数中， 逻辑回归分类模型的损失函数J(w)计算公式如下：权　利　要　求　书 1/3 页 2 CN 115451965 A 2式中： λ＞0表示正则化参数， m是训练样本图像数， yi为样本图像对应的类别标签， 秧苗 或者背景， w和b分别表示权重系数和偏置， Fi(x)为具有空间约 束的像素x的特征向量， 计算 公式如下： 式中： fi(x)为像素x的特 征向量。 4.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法， 其 特征在于： 所述步骤S2中， 秧苗图像颜色特征参数获取， 将RGB图像转化到符合人眼视觉特 性的色度 ‑饱和度‑亮度HSV空间， 提取饱和度与亮度的比值因子S /V， 并将RGB空间转化为亮 度和颜色分离的YCrCb空间， 构造Cg分量和超绿因子2*Cg ‑Cr‑Cb， 其中， Cg分量计算公式如 下： 5.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法， 其 特征在于： 所述步骤S3中， 秧苗行特征点获取， 将 宽为W、 高为H秧苗二值图像进 行水平等分， 分为p个水平图像子带， 并将p个水平图像子带进 行竖直等分为q小份， 形成p*q个小矩形块， 从下到上， 从左到右扫描每一矩形块并统计矩形内白色秧苗像素点个数M， 计算每个矩形块 内所有秧苗像素点坐 标的平均值， 以之作为 该矩形块内秧苗 行特征点的坐 标Q(xb,yb)， 计算 公式如下： 式中： (xb,yb)为矩形块b中秧苗行的特征点坐标， (xj,yj)矩形b中第j个秧苗像素点坐 标。 6.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法， 其 特征在于： 所述步骤S4中， 插秧机车体相 对航向角信息获取， 获取作业行的秧苗行线上A点 与邻近行的秧苗行线上B点分别在视觉 坐标系下坐 标为(xva,yva)和(xvb,yvb)， 在世界坐 标下 坐标为(xpa,ypa)和(xpb,ypb)， 结合前、 后向工业相机在世界坐标中的位置坐标为(xca,yca)和 (xcb,ycb)， A、 B点坐标在工业相机视觉坐标系与世界坐标系之间的固定转换关系计算公式 如下： 权　利　要　求　书 2/3 页 3 CN 115451965 A 3