(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210277776.2 (22)申请日 2022.03.21 (71)申请人 广东电网有限责任公司 地址 510000 广东省广州市越秀区东 风东 路757号 (72)发明人 严宇平　叶杭　吴广财　钱正浩　 蔡徽　王建永　林俊　林嘉鑫　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 何卿华 (51)Int.Cl. G06V 30/414(2022.01) G06V 30/14(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01)G06T 7/73(2017.01) G06F 40/109(2020.01) (54)发明名称 一种票据图像的文字提取方法及装置 (57)摘要 本发明公开了一种票据图像的文字提取方 法及装置， 方法包括： 将票据图像输入至预设的 文字检测识别模 型中， 识别出票据图像中的各字 段、 各字段的中心点横坐标 以及纵坐标； 根据各 字段的中心点纵坐标差值对各字段进行聚类， 继 而将位于同一类的字段作为同一行的字段； 确定 每一行的行序； 确定每一字段在对应行中的排 序； 根据各字段的中心点横坐标差值对各字段进 行聚类， 继而将位于同一类的字段作为同一列的 字段； 确定每一列的列序； 确定每一字段在对应 列中的排序； 根据每一行的行序、 每一列的列序、 每一字段在对应行中的排序以及每一字段在对 应列中的排序进行排版后输出。 通过实施本发明 能自动进行文字排版后输出， 降低了人力损耗并 提高了效率。 权利要求书2页 说明书7页 附图2页 CN 114612922 A 2022.06.10 CN 114612922 A 1.一种票据图像的文字提取 方法， 其特 征在于， 包括： 获取票据图像， 将所述票据图像输入至预设的文字检测识别模型中， 以使所述文字检 测识别模型识别所述票据图像中的各字段、 各字段的中心点横坐标以及各字段的中心点 纵 坐标； 根据各字段的中心点纵坐标差值对各字段进行聚类， 继而将位于同一类的字段作为同 一行的字段； 根据每一行中字段 的中心点纵坐标的平均值确定每一行 的行序； 根据字段 的 中心点横坐标确定每一字段在对应行中的排序； 根据各字段的中心点横坐标差值对各字段进行聚类， 继而将位于同一类的字段作为同 一列的字段； 根据每一列中字段 的中心点横坐标的平均值确定每一列的列序； 根据字段 的 中心点纵坐标确定每一字段在对应列中的排序； 根据每一行的行序、 每一列的列序、 每一字段在对应行中的排序以及每一字段在对应 列中的排序进行排版， 并按排版后版面格式将各字段进行输出。 2.如权利要求1所述的票据图像的文字提取方法， 其特征在于， 在将所述票据图像输入 至预设的文字检测识别模型中之前， 还 包括： 对所述票据图像进行图像预处理； 其中， 所述图像预处理包括以下任意一项或其组合： 剔除模糊图像、 票据角度校正以及剔除票据公章。 3.如权利要求1所述的票据图像的文字提取方法， 其特征在于， 所述文字检测 识别模型 包括： 文字检测子模型和文字识别子模型； 所述文字检测 识别模型识别所述票据图像中的各字段、 各字段的中心点横坐标以及各 字段的中心点纵坐标， 具体包括： 通过文字检测子模型对所述票据图像进行检测， 并识别各疑似字段的矩形框坐标以及 各疑似字段 所对应置信度分数； 将置信度分数小于预设阈值的疑似字段的矩形框进行剔除， 继而根据将剩余疑似字段 的矩形框坐标截取对应矩形框图像， 并将截取的各矩形框图像输入至所述文字识别子模 型， 以使所述文字识别子模型识别各矩形框图像中的字段、 字段 的中心线横坐标以及中心 线纵坐标。 4.如权利要求1所述的票据图像的文字提取方法， 其特征在于， 在根据字段的中心点横 坐标确定每一字段在对应行中的排序之后， 还 包括： 根据同一行中相邻 字段的中心点横坐标差值， 基于聚类算法对同一行中的字段进行聚 类， 并将字段 数目最多的类别作为第一基准类别； 计算所述第一基准类别 中各中心点横坐标差值的平均值， 获得第一平均值， 并将所述 第一平均值作为对应行的列宽； 逐一判断各相邻字段的中心点横坐标差值是否大于对应行的列宽， 若是， 则在两相邻 字段之间填充第一预设字符。 5.如权利要求4所述的票据图像的文字提取方法， 其特征在于， 在根据字段的中心点纵 坐标确定每一字段在对应列中的排序之后， 还 包括： 根据同一列中相邻 字段的中心点纵坐标差值， 基于聚类算法对同一列中的字段进行聚 类， 并将字段 数目最多的类别作为第二基准类别； 计算所述第二基准类别 中各中心点纵坐标差值的平均值， 获得第二平均值， 并将所述权　利　要　求　书 1/2 页 2 CN 114612922 A 2第二平均值作为对应列的行高； 逐一判断各相邻字段的中心点纵坐标差值是否大于对应列的行高， 若是， 则在两相邻 字段之间填充第二预设字符。 6.如权利要求5所述的票据图像的文字提取方法， 其特征在于， 根据每一行的行序、 每 一列的列序、 每一字段在对应行中的排序以及每一字段在对应列中的排序进行排版， 并按 排版后版面格式将各字段进行输出， 包括： 根据每一行的行序、 每一列的列序、 每一字段在对应行中的排序、 每一字段在对应列中 的排序、 每一行中的第一预设填充字符以及每一列中的第二预设填充字符进行排版， 并按 排版后版面格式将各字段、 各第一预设填充字段以及各第二预设填充字符进行输出。 7.如权利要求6所述的票据图像的文字提取方法， 其特征在于， 按排版后版面格式将各 字段、 各第一预设填充字段以及各第二预设填充字符进行输出， 包括： 按排版后的版面格式以json格式或者excel文件格式将各字段、 各第一预设填充字段 以及各第二预设填充字符进行输出。 8.一种票据图像的文字提取装置， 其特征在于， 包括： 字段识别模块、 行确定模块、 列确 定模块以及排版模块； 所述字段识别模块， 用于获取票据图像， 将所述票据图像输入至预设的文字检测识别 模型中， 以使所述文字检测识别模型识别所述票据图像中的各字段、 各字段 的中心点横坐 标以及各字段的中心点纵坐标； 所述行确定模块， 用于根据各字段的中心点纵坐标差值对各字段进行聚类， 继而将位 于同一类的字段作为同一行的字段； 根据每一行中字段的中心 点纵坐标的平均值确定每一 行的行序； 根据字段的中心点横坐标确定每一字段在对应行中的排序； 所述列确定模块， 用于根据各字段的中心点横坐标差值对各字段进行聚类， 继而将位 于同一类的字段作为同一列的字段； 根据每一列中字段的中心 点横坐标的平均值确定每一 列的列序； 根据字段的中心点纵坐标确定每一字段在对应列中的排序； 所述排版模块， 用于根据每一行的行序、 每一列的列序、 每一字段在对应行中的排序以 及每一字段在对应列中的排序进行排版， 并按排版后版面格式将各字段进行输出。 9.如权利要求8所述的票据图像的文字提取装置， 其特征在于， 还包括： 图像预处理模 块， 所述图像预处理模块， 用于在字段识别模块将所述票据图像输入至预设的文字检测识 别模型中之前， 对所述票据图像进 行图像预 处理； 其中， 所述图像预 处理包括以下任意一项 或其组合： 剔除模糊图像、 票据角度校正以及剔除票据公章。权　利　要　求　书 2/2 页 3 CN 114612922 A 3