(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111646606.9 (22)申请日 2021.12.2 9 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 程冰　王志芳　谢友平　 (74)专利代理 机构 深圳驿航知识产权代理事务 所(普通合伙) 44605 专利代理师 杨伦 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 17/22(2013.01) G10L 17/18(2013.01) G10L 25/30(2013.01) G10L 17/02(2013.01) G10L 25/03(2013.01) G10L 25/66(2013.01) A61B 6/00(2006.01) (54)发明名称 骨龄评测方法、 装置、 电子设备及存 储介质 (57)摘要 本发明实施例提供一种骨龄评测方法， 包 括： 获取目标人员的骨骼图以及声纹序列； 通过 预设的图像特征提取网络对所述骨骼图进行特 征提取， 得到骨骼图的骨骼特征； 通过预设的声 纹特征提取网络对声纹序列进行特征提取， 得到 声纹序列的声纹特征； 通过预设的第一特征融合 网络将骨骼特征与声纹特征进行特征融合， 得到 骨骼特征与声纹特征的融合特征； 通过预设的分 类网络对所述融合特征进行骨龄分类， 并根据骨 龄分类的分类结果对目标人员进行骨龄评测， 以 得到目标人员的骨龄评测结果。 能够检测到骨骼 图中骨骼对应的年龄， 由于增加了声纹作为辅助 检测， 提高了骨龄评测的准确率， 不用医生人工 观察骨骼图和解读骨骼图像， 进而提高了骨龄评 测的评测效率。 权利要求书3页 说明书14页 附图5页 CN 114445686 A 2022.05.06 CN 114445686 A 1.一种骨龄 评测方法， 其特 征在于， 包括以下步骤： 获取目标人员的骨骼图以及声纹序列， 所述骨骼图为指定身体部位的骨骼图， 所述声 纹序列为目标 人员按指定内容进行发声时进行采集得到； 通过预设的图像特征提取网络对所述骨骼图进行特征提取， 得到所述骨骼图的骨骼特 征； 通过预设的声纹特征提取网络对所述声纹序列进行特征提取， 得到所述声纹序列的声 纹特征； 通过预设的第 一特征融合网络将所述骨骼特征与 所述声纹特征进行特征融合， 得到所 述骨骼特 征与所述声纹特 征的融合特 征； 通过预设的分类网络对所述融合特征进行骨龄分类， 并根据所述骨龄分类的分类结果 对所述目标 人员进行骨龄 评测， 以得到所述目标 人员的骨龄 评测结果。 2.如权利要求1所述的方法， 其特征在于， 所述预设的图像特征提取网络包括预设的全 局特征提取网络、 预设的局部特征提取网络以及预设的第二特征融合网络， 所述通过预设 的图像特 征提取网络对所述骨骼图进行 特征提取， 得到所述骨骼图的骨骼特 征， 包括： 通过所述全局特征提取网络对所述骨骼图进行特征提取处理， 得到所述骨骼图的全局 特征； 将所述骨骼图按预设的分割策略进行分割， 得到对应数量的骨骼局部 图， 每个所述骨 骼局部图与相 邻的骨骼局部图存在重叠区域， 所述骨骼图的分辨率尺度大于所述骨骼局部 图的分辨 率尺度； 通过所述预设的局部特征提取网络对所述骨骼局部图进行特征提取处理， 得到所述骨 骼图的局部特 征； 通过所述预设的第 二特征融合网络对所述全局特征与 所述局部特征进行融合处理， 得 到所述骨骼图的骨骼特 征。 3.如权利要求1所述的方法， 其特征在于， 所述预设的声纹特征提取网络包括 时间特征 提取网络、 频率特征提取网络以及第三特征融合网络， 所述通过预设的声纹特征提取网络 对所述声纹序列进行 特征提取， 得到所述声纹序列的声纹特 征， 包括： 通过所述 时间特征提取网络对所述预设的声纹序列进行特征提取处理， 得到所述声纹 序列的时间特 征； 通过快速傅立叶变换， 将所述声纹序列从时域变换到频域， 得到所述声纹序列的频谱 图； 通过所述频率特征提取网络对所述频谱图进行特征提取处理， 得到所述声纹序列的频 率特征； 通过所述预设的第 三特征融合网络对所述 时间特征与 所述频率特征进行融合处理， 得 到所述声纹序列的声纹特 征。 4.如权利要求3所述的方法， 其特征在于， 所述通过快速傅立叶变换， 将所述声纹序列 从时域变换到频域， 得到所述声纹序列的频谱图， 包括： 对所述声纹序列进行分帧处 理， 得到分帧处 理后的声纹序列； 对所述分帧处 理后的声纹序列进行加窗处 理， 得到加窗后的声纹序列； 对所述加窗后的声纹序列进行快速傅里叶变换点数处理， 将所述声纹序列从时域转换权　利　要　求　书 1/3 页 2 CN 114445686 A 2为频域， 得到所述声纹序列的频谱图。 5.如权利要求1所述的方法， 其特征在于， 在所述通过预设的声纹特征提取网络对所述 声纹序列进行 特征提取， 得到所述声纹序列的声纹特 征之前， 所述方法还 包括： 对所述声纹序列进行 预处理， 得到预处 理后的声纹序列； 对所述预处 理后的声纹序列进行语义识别； 当所述语义识别结果与所述指定 内容相同时， 确定所述预处理后的声纹序列为所述目 标人员的声纹序列。 6.如权利要求1所述的方法， 其特征在于， 所述预设的第 一特征融合网络包括第 一线性 变换层、 第二线性变换层以及第一全卷积层， 所述通过预设的第一特征融合网络将所述骨 骼特征与所述声纹特征进行特征融合， 得到所述骨骼特征与所述声纹特征 的融合特征， 包 括： 通过所述第一线性变换层对所述骨骼特征进行线性变换， 得到线性变换后的骨骼特 征； 通过所述第二线性变换层对所述声纹特征进行线性变换， 得到线性变换后的声纹特 征， 所述线性变换后的骨骼特 征与所述线性变换后的声纹特 征具有相同的维度； 通过所述第一全卷积层对所述线性变换后的骨骼特征与所述线性变换后的声纹特征 进行卷积处理， 得到所述骨骼特 征与所述声纹特 征的融合特 征。 7.如权利要求1至6 中任一所述的方法， 其特征在于， 所述图像特征提取网络、 所述声纹 特征提取网络、 所述第一特征融合网络以及所述分类网络通过同一个数据集进行训练， 所 述训练的步骤 包括： 构建数据集， 所述数据集包括样本骨骼图、 样本声纹序列以及对应的年龄标注数据， 所 述样本骨骼图为样本人员的骨骼图， 所述年龄标注数据为样本人员的真实年龄， 所述样本 声纹序列为样本人员根据指定内容进行发声时进行采集得到声纹序列； 通过所述数据集， 对所述图像特征提取网络、 所述声纹特征提取网络、 所述第 一特征融 合网络以及所述分类网络进行 联合训练。 8.一种骨龄 评测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取目标人员的骨骼图以及声纹序列， 所述骨骼图为指定身体部位的 骨骼图， 所述声纹序列为目标 人员按指定内容进行发声时进行采集得到； 第一提取模块， 用于通过预设的图像特征提取网络对所述骨骼图进行特征提取， 得到 所述骨骼图的骨骼特 征； 第二提取模块， 用于通过预设的声纹特征提取网络对所述声纹序列进行特征提取， 得 到所述声纹序列的声纹特 征； 融合模块， 用于通过预设的第 一特征融合网络将所述骨骼特征与所述声纹特征进行特 征融合， 得到所述骨骼特 征与所述声纹特 征的融合特 征； 测评模块， 用于通过预设的分类网络对所述融合特征进行骨龄分类， 并根据所述骨龄 分类的分类结果对所述目标 人员进行骨龄 评测， 以得到所述目标 人员的骨龄 评测结果。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7中 任一项所述的骨龄 评测方法中的步骤。权　利　要　求　书 2/3 页 3 CN 114445686 A 3