(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129528.X (22)申请日 2022.09.16 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 (72)发明人 陈春朋　杨智远　吴连朋　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 刘醒晗 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/33(2017.01) G06T 7/73(2017.01) (54)发明名称 一种三维人脸模型的重建方法及电子设备 (57)摘要 本申请提供一种三维人脸模型的重建方法 及电子设备， 用于提高三维人脸模型的真实感。 包括： 将目标对象的各二维人脸 关键点与目标对 象的初始三维人脸模型中的各顶 点匹配， 得到各 三维人脸关键点， 检测初始三维人脸模型的空洞 区域， 得到空洞边界点集合； 基于空洞边界点集 合中各边界点和各三维人脸关键点， 在预设的标 准人脸模型的各顶点中识别出与各边界点匹配 的目标顶 点； 利用各边界点的位置坐标和各目标 顶点的位置坐标对目标顶点进行非 刚性配准， 得 到非刚性配准矩阵； 利用非刚性配准矩阵和标准 人脸模型中目标区域内的各内部点， 得到各内部 点的变换矩阵； 利用各内部点的变换矩阵将各内 部点变换至初始三维模型中， 得到重建后的三维 人脸模型。 权利要求书3页 说明书13页 附图8页 CN 115471609 A 2022.12.13 CN 115471609 A 1.一种三维人脸模型的重建方法， 其特 征在于， 所述方法包括： 针对任意一个目标对象， 将基于所述目标对象的正面人脸图像得到的各二维人脸关键 点与所述目标对象的初始三 维人脸模型中的各顶 点进行匹配， 得到所述初始 三维人脸模型 中的各三维人脸关键点； 基于所述初始三维人脸模型中各三角形面片对所述初始三维人脸模型的空洞区域进 行检测， 得到空洞边界点 集合； 针对所述空洞边界点集合中的任意一个边界点， 根据所述边界点的位置坐标以及所述 各三维人脸关键点的位置坐标， 在预设的标准人脸模型的各顶点中识别出与所述边界点匹 配的目标顶点； 以及， 利用所述边界点的位置坐标以及与 所述边界点匹配的目标顶点的位置坐标， 对所述目 标顶点进行非刚性配准， 得到所述目标顶点的非刚性配准矩阵； 利用所述非刚性配准矩阵和所述标准人脸模型中目标区域内的各内部点的位置坐标， 得到所述各内部点的变换矩阵， 其中， 所述目标区域 为各目标顶点所围成的区域； 针对任意一个 内部点， 利用所述内部点的变换矩阵将所述内部点变换至所述初始三维 模型中， 得到 重建后的三维人脸模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述初始三维人脸模型中各三角 形面片对所述初始三维人脸模型的空洞区域进行检测， 得到空洞边界点 集合， 包括： 针对所述初始三维人脸模型中的任意一个三角形面片， 若所述三角形面片中存在至少 一条边只属于所述三角形面片， 且所述边的两个顶点的位置坐标 的大小在指定范围内， 则 将所述边的两个顶点确定为所述初始三维人脸模型的空洞区域的边界点； 基于确定出的空洞区域的各边界点， 得到所述空洞边界点 集合。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述边界点的位置坐标以及所述 各三维人脸关键点的位置坐标， 在预设的标准人脸模型的各顶点中识别出与所述边界点匹 配的目标顶点， 包括： 针对所述空洞边界点集合中的任意一个边界点， 基于所述边界点的位置坐标以及所述 各三维人脸关键点的位置坐标， 得到所述 边界点的特 征向量； 以及， 针对所述标准人脸模型中的任意一个顶点， 基于所述顶点的位置坐标以及各标准关键 点的位置坐标， 得到所述顶点的特征向量， 其中， 所述各标准关键点为所述标准人脸模型的 各顶点中与所述各三维人脸关键点的标识相同的各顶点； 针对任意一个边界点， 根据所述边界点的特征向量和所述各顶点的特征向量， 确定所 述边界点分别与所述各顶点的相似度； 并， 将与所述 边界点的相似度最高的顶点确定为与所述 边界点相匹配的目标顶点。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述边界点的位置坐标以及所述 各三维人脸关键点的位置坐标， 得到所述 边界点的特 征向量， 包括： 针对任意一个三维人脸关键点， 根据 所述三维人脸关键点的位置坐标以及所述边界点 的位置坐标， 确定所述 三维人脸关键点与所述 边界点之间的距离； 基于所述 边界点分别与各三维人脸关键点之间的距离， 得到所述 边界点的特 征向量。 5.根据权利要求3所述的方法， 其特征在于， 所述基于所述顶点的位置坐标以及各标准 关键点的位置坐标， 得到所述顶点的特 征向量， 包括：权　利　要　求　书 1/3 页 2 CN 115471609 A 2针对任意一个标准关键点， 根据所述标准关键点的位置坐标以及所述顶点的位置坐 标， 得到所述顶点与所述标准关键点之间的距离； 基于所述顶点分别与各 标准关键点之间的距离， 得到所述顶点的特 征向量。 6.根据权利要求1所述的方法， 其特征在于， 所述利用所述非刚性配准矩阵和所述标准 人脸模型中目标区域内的各内部点的位置坐标， 得到所述各内部点的变换矩阵， 包括： 针对任意一个内部点， 基于所述内部点的位置坐标以及所述各目标顶点的位置坐标， 得到所述内部点与所述各目标顶点之间的距离； 基于所述内部点与 所述各目标顶点之间的距离， 确定所述内部点与 所述各目标顶点之 间的权重； 根据所述内部点与所述各目标顶点之间的权重以及所述各目标顶点的非刚性配准矩 阵， 得到所述内部点的变换矩阵。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述内部点与 所述各目标顶点之 间的距离， 确定所述内部点与所述各目标顶点之间的权 重， 包括： 将所述内部点与所述各目标顶点之间的距离相加， 得到总距离； 针对任意一个目标顶点， 将总距离的平方与目标距离的平方相除， 得到所述内部点与 所述目标顶点之间的权 重， 其中， 所述目标距离为所述内部点与所述目标顶点之间的距离 。 8.根据权利要求6所述的方法， 其特征在于， 所述根据所述内部点与 所述各目标顶点之 间的权重以及所述各目标顶点的非刚性配准矩阵， 得到所述内部点的变换矩阵， 包括： 针对任意一个目标顶点， 将所述内部点与 所述目标顶点之间的权重与 所述目标顶点的 非刚性配准矩阵相乘， 得到所述内部点的中间变换矩阵； 将所述内部点的中间变换矩阵相加， 得到所述内部点的变换矩阵。 9.一种电子设备， 其特征在于， 包括处理器和存储器， 所述处理器和所述存储器通过总 线连接； 所述存储器中存储有计算机程序， 所述处理器被配置为基于所述计算机程序 执行以下 操作： 针对任意一个目标对象， 将基于所述目标对象的正面人脸图像得到的各二维人脸关键 点与所述目标对象的初始三 维人脸模型中的各顶 点进行匹配， 得到所述初始 三维人脸模型 中的各三维人脸关键点； 基于所述初始三维人脸模型中各三角形面片对所述初始三维人脸模型的空洞区域进 行检测， 得到空洞边界点 集合； 针对所述空洞边界点集合中的任意一个边界点， 根据所述边界点的位置坐标以及所述 各三维人脸关键点的位置坐标， 在预设的标准人脸模型的各顶点中识别出与所述边界点匹 配的目标顶点； 以及， 利用所述边界点的位置坐标以及与 所述边界点匹配的目标顶点的位置坐标， 对所述目 标顶点进行非刚性配准， 得到所述目标顶点的非刚性配准矩阵； 利用所述非刚性配准矩阵和所述标准人脸模型中目标区域内的各内部点的位置坐标， 得到所述各内部点的变换矩阵， 其中， 所述目标区域 为各目标顶点所围成的区域； 针对任意一个 内部点， 利用所述内部点的变换矩阵将所述内部点变换至所述初始三维 模型中， 得到 重建后的三维人脸模型。权　利　要　求　书 2/3 页 3 CN 115471609 A 3