(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028592.9 (22)申请日 2022.08.25 (71)申请人 苏州千瓶智能科技有限公司 地址 215400 江苏省苏州市太 仓市浏河镇 北海路13 0号2#楼2层A001号 (72)发明人 焦人杰　 (74)专利代理 机构 苏州佳博知识产权代理事务 所(普通合伙) 32342 专利代理师 唐毅 (51)Int.Cl. G06T 3/00(2006.01) G06Q 30/02(2012.01) G06Q 30/06(2012.01) G06V 40/16(2022.01) G06V 40/20(2022.01) (54)发明名称 一种非接 触模拟式虚拟试妆方法及系统 (57)摘要 本发明公开了一种非接触模拟式虚拟试妆 方法及系统， 虚拟试妆方法包括： 分析采集的图 像， 根据人脸特征检测试妆人员的面部图像， 选 取合适的包含 人脸的图像作为试妆图像， 并根据 试妆人员的离开动作更新试妆图像； 接着分析试 妆人员的模拟的实际化妆 过程的动作行为， 从而 确定虚拟化妆 所对应的处理操作， 以及虚拟化妆 处理参数； 基于虚拟化妆处理参数和操作对所述 的试妆图像进行图像处理， 进行虚拟着妆， 实现 虚拟化妆效果。 基于图像处理的非接触模拟式虚 拟试妆， 提高营销效果和广告效应， 提高用户购 物体验， 避免公共卫 生问题和设备被损坏问题。 权利要求书2页 说明书6页 附图5页 CN 115439312 A 2022.12.06 CN 115439312 A 1.一种非接触模拟式虚拟试妆方法， 其特 征在于， 具 备以下步骤： 步骤S1： 确定或者更新试妆图像； 当试妆图像不存在或者有更新指令， 更新试妆图像； 当试妆图像存在并且无 更新指令， 则继续使用现有的试妆图像； 步骤S2： 分析 试妆人员的模拟化妆的动作行为， 确定虚拟试妆处 理参数和操作； 步骤S3： 基于虚拟试妆参数和操作， 对待处 理试妆图像进行图像处 理， 实现虚拟上妆。 2.根据权利要求1所述的非接触模拟式虚拟试妆方法， 其特征在于， 所述步骤S1包括： 根据人脸特征确定合适的试妆图像， 其中， 所述人脸特征包括人脸轮廓、 嘴巴、 左眼、 右眼， 只有所有的人脸特 征都满足， 该图像才能作为 合适的试妆图像。 3.根据权利要求1所述的非接触模拟式虚拟试妆方法， 其特征在于， 所述步骤S2分析的 试妆人员的试妆动作行为包括: 1)指向动作、 涂抹动作、 洗脸动作、 离开动作， 2)指向动作为用手指或者用手掌指向某一 化妆品的动作确定相应产品参数信息； 3)涂抹动作为试妆人员在脸部的涂抹动作， 检测涂抹范围和涂抹时间， 所述的涂抹动 作包括在脸部的涂抹动作包括手指或者手掌上下来回移动、 左右来回移动、 顺时针圆周运 动或者逆时针圆周运动； 4)洗脸动作为捂下脸动作， 用来清除图像的虚拟化妆； 5)离开动作为在一个 预设时间段Tr内没有检测到 人脸则重新初始化试妆和更新试妆图 像。 4.根据权利要求4所述的非接触模拟式虚拟试妆方法， 其特征在于， 所述的涂抹范围， 其特征在于： 涂抹范围St以下公式计算： St＝(Sc∪St‑1)∩Sskin； 其中， Sc为当前时刻手指头或者手掌中心部分的范围， St‑1为上一时刻的涂抹范围， Sskin 为试妆图像上 的人脸皮肤区域， ∪和∩分别是并运算和交运算， 如果手指头或者手掌中心 离开了人脸区域， 则涂抹范围St将重新开始计算， 这样保证了动作的连续性， 所述的手指头 或者手掌中心部分为预设的中心在手指头或者手掌中心的一个小范围。 5.根据权利要求1或4所述的非接触模拟式虚拟试妆方法， 其特征在于， 所述的涂抹时 间按照以下公式计算： Tt＝Tc‑T0 其中， Tc为当前时刻， T0为手指头或者手掌中心第一次位于人脸区域时的时刻。 6.根据权利要求1所述的非接触模拟式虚拟试妆方法， 其特征在于， 所述步骤S3包括： 按照下式计算试妆图像上相应涂抹范围： 其中， (xc,yc)为当前图像的涂抹范围St的坐标点， (xr,yr)为在试妆图像的涂抹范围Sr 的坐标点， (Dx,Dy)为涂抹范 围St相对于涂抹范 围Sr的偏移， 偏移(Dx,Dy)通过不同的人脸特 征的偏移进 行计算， 例如， 根据人脸轮廓特征计算轮廓的中心 点的相对偏移， 即为当前图像 上的涂抹范围相对于试妆图像的相对偏移， 从而 可以计算在试妆图像的涂抹范围。 又例如， 根据多个人脸特征 的相对偏移的平均值作为当前图像上的涂抹范围相对于试妆图像的相权　利　要　求　书 1/2 页 2 CN 115439312 A 2对偏移。 7.根据权利要求1所述的非接触模拟式虚拟试妆方法， ， 其特征在于， 所述步骤S3还包 括： 基于所述的化妆品参数、 涂抹范围、 涂抹时间， 对试妆图像进行局部或者全局图像处 理， 实现模拟上妆， 其中涂抹范围决定了待处理的人脸区域的范围， 涂抹时间决定了化妆品 在涂抹范围内的厚度、 均匀度； 与实际化妆过程相似， 涂抹时间越长， 则厚度越薄， 化妆色彩 越淡， 并且 越均匀； 所选的化妆品参数决定 了化妆品的色系 、 使用范围等特性。 8.一种非接触模拟式虚拟试妆系统， 其特 征在于， 其包括： 试妆图像确定模块， 用于分析采集的图像， 确定或者更新试妆图像； 虚拟试妆处理参数和操作确定模块， 用于分析试妆人员的模拟化妆的动作行为， 确定 虚拟试妆处理参数和操作； 当试妆图像不存在或者有 更新指令， 更新试妆图像； 当试妆图像 存在并且无 更新指令， 则继续使用现有的试妆图像； 图像处理上妆模块， 用于对待处 理试妆图像进行图像处 理， 实现虚拟上妆。 9.根据权利要求8所述的非接触模拟式虚拟试妆系统， 其中， 所述试妆图像确定模块包 括： 试妆图像确定子模块， 根据人脸特征确定合适的试妆图像， 所述人脸特征包括人脸轮 廓、 嘴巴、 左眼、 右眼， 只有所有的人脸特 征都满足， 该图像才能作为 合适的试妆图像。 10.根据权利要求8所述的非接触模拟式虚拟试妆系统， 其特征在于， 图像处理上妆模 块还包括： 虚拟上妆子模块， 基于所述的化妆品参数、 涂抹范围、 涂抹时间， 对试妆图像进 行 局部或者全局图像处理， 实现模拟化妆， 其中涂抹范围决定了待处理的人脸区域的范围， 涂 抹时间决定了化妆品在涂抹范围内的厚度、 均匀度； 与实际化妆过程相似， 涂抹时间越长， 则厚度越薄， 化妆色彩越淡， 并且越均匀； 所选的化妆品参数决定了化妆品的色系、 使用范 围等特性。权　利　要　求　书 2/2 页 3 CN 115439312 A 3