(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211144984.1 (22)申请日 2022.09.20 (71)申请人 国网安徽省电力有限公司电力科 学 研究院 地址 230000 安徽省合肥市经济开发区紫 云路299号 申请人 国家电网有限公司 (72)发明人 张佳庆　刘睿　励刚　王刘芳　 罗沙　谢佳　朱太云　过羿　 尚峰举　孙韬　何灵欣　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 闫客 (51)Int.Cl. G06T 7/11(2017.01)G06T 7/73(2017.01) G08B 17/12(2006.01) (54)发明名称 特高压换流站消防机器人火焰定位方法及 系统 (57)摘要 本发明公开一种特高压换流站消防机器人 火焰定位方法及系统， 所述方法包括采集火焰区 域的左右目可见光图像和左右目红外图像； 对左 右目红外图像进行火焰 识别检测， 将左右目红外 图像中火焰外框区域最大的作为ROI区域； 基于 ROI区域， 对左右目红外图像或左右目可见光图 像进行立体匹配和视差计算， 得到火焰三维坐 标； 将火焰三维坐标转换至消防机器人坐标系 下， 得到消防机器人坐标系下火焰坐标。 本发明 通过采用红外图像作为ROI区域， 不针对可见光 图像单独进行图像 分割， 显著提高定位精度和速 度； 具体选择通过左右目红外图像或左右目可见 光图像进行立体匹配和视差计算， 提高火焰定位 的准确性。 权利要求书3页 说明书14页 附图8页 CN 115526897 A 2022.12.27 CN 115526897 A 1.一种特高压换流站消防机器人火焰定位方法， 其特 征在于， 所述方法包括： 采集火焰区域的左右目可 见光图像和左右目红外图像； 对所述左右目红外 图像进行火焰识别检测， 并标记火焰外框， 将左右目红外 图像中火 焰外框区域最大的作为ROI区域； 基于所述ROI区域， 对所述左右目红外图像或所述左右目可见光图像进行立体匹配和 视差计算， 得到火焰三维坐标； 将所述火焰三维坐标转换至消防机器人坐标系下， 得到所述消防机器人坐标系下火焰 位置坐标。 2.如权利要求1所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 所述消防 机器人安装有双波段图像采集模块， 所述双波段图像采集模块包括两台可见光相机和两片 红外滤光片， 两片所述红外滤光片可分别移动离开或覆盖两台所述可见光相 机， 所述采集 火焰区域的左右目可 见光图像和左右目红外图像， 包括： 对两台所述可 见光相机进行 标定， 获得左右两个相机的内参、 外参和畸变系数； 驱动所述红外滤光片离开所述可见光相机， 利用所述可见光相机采集火焰区域的左右 目可见光图像； 驱动所述红外滤光片覆盖所述可见光相机， 利用所述可见光相机采集火焰区域的左右 目红外图像。 3.如权利要求1所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 所述对所 述左右目红外图像进行火焰识别检测， 并标记火焰外框， 将左右目红外图像中火焰外框区 域最大的作为ROI区域， 包括： 利用卷积神经网络模型对所述左右目红外图像进行火焰识别检测； 判断是否在所述双目红外图像中均检测到符合设定阈值的火焰； 若是， 则基于所述左右目红外 图像进行火焰识别检测结果， 将所述左右目红外 图像中 火焰外框区域最大的作为ROI区域； 若否， 则移动所述消防机器人， 并重新利用所述消防机器人采集火焰区域的双目可见 光图像和双目红外图像。 4.如权利要求1所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 所述基于 所述ROI区域， 对所述左右目红外图像或所述左右目可见光图像进 行立体匹配和视差计算， 得到火焰三维坐标， 包括： 利用卷积神经网络模型对所述左右目可见光图像进行火焰识别检测， 并判断在所述左 右目可见光图像中是否 完整检测到火焰； 若是， 则基于所述ROI区域， 对所述左右目可见光图像进行立体匹配和视差计算， 得到 所述火焰三维坐标； 若否， 则基于所述ROI区域， 对所述左右目红外图像进行立体匹配和视差计算， 得到所 述火焰三维坐标。 5.如权利要求3或4所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 所述 卷积神经网络模 型采用SSD目标识别网络， 所述SSD目标识别网络的主干特征提取网络为轻 量级网络MobileNetV2， 所述轻量级网络MobileNetV2中加入注意力机制Squeeze ‑and‑ Excitati on。权　利　要　求　书 1/3 页 2 CN 115526897 A 26.如权利要求1所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 所述基于 所述ROI区域， 对所述左右目红外图像或所述左右目可见光图像进 行立体匹配和视差计算， 得到火焰三维坐标， 包括： 基于所述ROI区域， 对所述左右目红外图像或所述左右目可见光图像 中对应的ROI区域 中的全部特 征点进行匹配， 对应得到第一特 征匹配集 合或第二特 征匹配集 合； 将所述第一特征匹配集合或所述第二特征匹配集合中每一特征点对在横轴方向的坐 标差的绝对值作为该 特征点对的视 差； 对所述第一特征匹配集合或所述第二特征匹配集合中所有特征点对的视差进行匹配 代价的滤波处 理后， 求取 所有特征点对的视 差平均值D作为 最终视差； 基于三角测距 原理， 对所述 最终视差进行计算， 得到所述火焰三维坐标。 7.如权利要求6所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 所述基于 三角测距 原理， 对所述 最终视差进行计算， 得到所述火焰三维坐标的公式表示 为： 式中： (uL,vL)为目标火焰点在左目相机上的像素坐标， f为相机焦距， b为左目相机和右 目相机光心 距离， D为所述 最终视差， x为水平方向坐标， y为竖直方向坐标， z为距离 。 8.如权利要求6所述的特高压换流站消防机器人火焰定位方法， 其特征在于， 在所述基 于所述ROI区域， 对 所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全 部特征点进行匹配， 对应得到第一特征匹配集合或第二特征匹配集合之前， 所述方法还包 括： 采用均方误差方法对所述左右目红外图像或所述左右目可见光图像 中对应的ROI区域 进行相似度计算， 得到相似度值； 判断所述相似度值是否小于设定阈值； 若是， 则执行所述基于所述ROI区域， 对所述左右目红外图像或所述左右目可见光图像 中对应的ROI区域中的全部特征点进行匹配， 对应得到第一特征匹配集合或第二特征匹配 集合； 若否， 则重新对所述双目红外图像进行火焰识别检测， 确定ROI区域。 9.一种特高压换流站消防机器人火焰定位系统， 其特 征在于， 所述系统包括： 图像采集模块， 用于采集火焰区域的左右目可 见光图像和左右目红外图像； 识别检测模块， 用于对所述左右目红外图像进行火焰识别检测， 并标记火焰外框， 将左 右目红外图像中火焰外 框区域最大的作为ROI区域； 坐标计算模块， 用于基于所述ROI区域， 对所述左右目红外图像或所述左右目可见光图 像进行立体匹配和视 差计算， 得到火焰三维坐标； 坐标转换模块， 用于将所述火焰三维坐标转换至消防机器人坐标系下， 得到所述消防 机器人坐标系下火焰位置坐标。 10.如权利要求9所述的特高压换流站消防机器人火焰定位系统， 其特征在于， 所述图 像采集模块包括一固定底座， 所述固定底座上布置有左目可见光相机、 右目可见光相机、 左 目滤光片、 右目滤光片、 左目滤光片摆动电机和右目滤光片摆动电机； 所述左目滤光片摆动电机驱动端经左目滤光片摆杆与 所述左目滤光片连接； 所述右目权　利　要　求　书 2/3 页 3 CN 115526897 A 3