(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211394678.3 (22)申请日 2022.11.09 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 古天龙　李映辉　罗义琴　李龙　 冯旋　李晶晶　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 莫兆忠 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于增量技术和注意力机制的公平人 脸表情识别方法 (57)摘要 本发明提供了一种基于增量技术和注意力 机制的公平人脸表情识别方法， 包括： 构建并训 练表情平衡模型， 所述表情平衡模型包括： 骨干 模块、 注意力特征融合模块和表情平衡微调模 块； 将人脸表情图像输入所述骨干模块， 提取所 述人脸表情图像的表情特征； 将所述表情特征输 入所述注意力特征融合模块， 获取不同表情类 别； 将所述不同表情类别输入所述表情平衡微调 模块， 对所述不同表情类别进行调节， 输出公平 人脸表情识别结果。 本发明采用增量技术和注意 力机制结合的方式处理表情图像， 能够提取代表 性不足的表情类别中更细微的特征， 从而缓解人 脸表情识别中的表情类别偏差， 达到公平人脸表 情识别的目的。 权利要求书2页 说明书7页 附图1页 CN 115457643 A 2022.12.09 CN 115457643 A 1.一种基于增量 技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 包括： 构建并训练表情平衡模型， 所述表情平衡模型包括： 骨干模块、 注意力特征融合模块和 表情平衡微调模块； 将人脸表情图像输入所述骨干模块， 提取 所述人脸表情图像的表情特 征； 将所述表情特 征输入所述注意力特 征融合模块， 获取不同表情类别； 将所述不同表情类别输入所述表情平衡微调模块， 对不同所述表情类别进行调节， 输 出公平人脸表情识别结果。 2.根据权利要求1所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 训练所述表情平衡模型包括： 获取所述人脸表情图像的数据集； 构建交叉注意蒸馏损失函数； 基于所述数据集和所述交叉注意蒸馏损失函数对所述表情平衡模型进行训练。 3.根据权利要求2所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 所述表情平衡模型还 包括： 增量记 忆内存模块； 所述增量记 忆内存模块与所述骨干模块连接； 在所述表情平衡模型的训练过程中， 基于所述增量记忆内存模块保留上一训练阶段的 预设数量的旧类别数据， 减少所述表情平衡模型对代 表性不足的表情类别的偏见。 4.根据权利要求1所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 所述骨干模块包括： 一个卷积层、 一个池化层和若干相连的残差连接单 元； 所述卷积层、 池化层和若干所述残差连接单 元依次连接； 所述残差连接单 元包括： 主分支子单 元和副分支子单 元； 所述主分支子单元， 用于提取输入图像的不同特征； 所述副分支子单元， 用于连接所述 残差连接单 元的输入和输出。 5.根据权利要求1所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 所述注意力特 征融合模块包括： 空间子模块、 通道子模块和全连接层子模块； 所述注意力特征融合模块将所述表情特征， 从两个维度进行压缩和融合为注意力图， 并将所述注意力图输入所述全连接层， 获得所述不同表情类别； 其中， 所述两个维度包括： 所述空间子模块 提供的空间维度和所述 通道子模块 提供的通道维度。 6.根据权利要求5所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 所述空间子模块包括： 最大和平均池化层， 以及与所述最大和平均池化层连接的三个 并联的卷积层； 所述通道子模块包括： 若干编码器， 以及与所述若干编码器连接的两个并联的池化层。 7.根据权利要求2所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 所述交叉注意蒸馏损失函数包括： 交叉熵损失、 注意力分区损失和蒸馏损失； 所述交叉注意蒸馏损失函数 为： 权　利　要　求　书 1/2 页 2 CN 115457643 A 2其中， 为注意力分区损失， 为交叉熵损失， 为蒸馏损失。 8.根据权利要求3所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 对所述表情平衡模型进行训练包括： 将所述数据集以类别增量的形式输入所述表情平衡模型中， 每批次有一组新类别数 据。 9.根据权利要求8所述的基于增量技术和注意力机制的公平人脸表情识别方法， 其特 征在于， 将所述数据集以类别增量的形式输入所述表情平衡模型中包括： S1.设定第一训练阶段的数据集 ， 其中 为第 张图像,  为第一 训练阶段 数据集的图像总数； 设定第二或后续阶段的数据集 其中 和 分别为第 训练阶段中第 张新类 别和旧类别的图像， 和 分别为第 训练阶段中新类别和旧类别的图像总数； S2.在所述第 训练阶段， 采用数据集 对所述表情平衡模型进行训练： S3.选取当前训 练阶段的数据集 中的预设数量 的新类别数据 ， 其中， 为每个表情类别运行存放的样本数量； 将所 述新类别数据放入所述增量记忆内存模块中， 完成所述增 量记忆内存模块的内存更新； 此 外， 在最后一个训练阶段， 不再 更新所述增量记 忆内存模块的内存。 10.根据权利要求1所述的基于增量技术和 注意力机制的公平人脸表情识别方法， 其特 征在于， 所述表情平衡微调模块对所述 不同表情类别进行调节包括： 构建一个平衡子 集 其中 表示第 张图像,   为平衡子集中图像的总数； 基于所述平衡子集以预设阈值的学习率对所述表情平衡模型进行调 整， 保持所述表情 平衡模型的识别性能平衡。权　利　要　求　书 2/2 页 3 CN 115457643 A 3