(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111673521.X (22)申请日 2021.12.31 (71)申请人 特斯联科技 集团有限公司 地址 101149 北京市通州区滨惠北一 街3号 院1号楼1层1- 6室 (72)发明人 李强　 (74)专利代理 机构 北京华专卓 海知识产权代理 事务所(普通 合伙) 11664 专利代理师 张继鑫 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人体行为人工智能判断系统和方法 (57)摘要 本发明公开了一种人体行为人工智能判断 系统和方法， 涉及到计算机视觉技术领域， 包括 行为判断单元， 所述行为判断单元的输入端设置 有内容采集单元、 对象分割单元和数据提取单 元， 所述行为判断单元的连接端设置有参数调节 单元， 所述行为判断单元用于接受来自于内容采 集单元的输入图像， 并通过对象分割单元对输入 图像进行处理， 提取出人体特征数据。 本发明采 用深度学习技术提取人体特征并建立人体行为 与特征的映射关系， 例如每一种行为以及对应的 视频/图像特征， 并利用 深度神经网络模型进行 训练， 获取训练后的信息模型。 权利要求书2页 说明书5页 附图2页 CN 114495156 A 2022.05.13 CN 114495156 A 1.一种人体行为人工智能判断系统， 其特征在于： 包括行为判断单元(1)， 所述行为判 断单元(1)的输入端设置有内容采集单元(2)、 对象分割单元(3)和数据提取单元(4)， 所述 行为判断单 元(1)的连接端设置有参数调节单 元(5)； 所述行为判断单元(1)用于接受来自于内容采集单元(2)的输入图像， 并通过对象分割 单元(3)对输入图像进行处 理， 提取出人体特征数据。 2.根据权利要求1所述的一种人体行为人工智能判断系统， 其特征在于： 所述内容采集 单元(2)用于从输入视频流中获取 行为待识别的图像， 作为输入图像。 3.根据权利要求2所述的一种人体行为人工智能判断系统， 其特征在于： 所述对象分割 单元(3)用于对输入图像数据进行分割， 进 而提取出人体特征数据。 4.根据权利要求3所述的一种人体行为人工智能判断系统， 其特征在于： 所述数据提取 单元(4)用于存储行为判断识别模型数据并向行为判断单元(1)提供行为判断识别模型数 据。 5.根据权利要求4所述的一种人体行为人工智能判断系统， 其特征在于： 所述参数调节 单元(5)用于修改数据提取 单元(4)内部的所存 储的行为判断识别模型 数据。 6.一种人体行为人工智能判断方法， 其特 征在于， 所述方法具体包括以下步骤： S1、 通过参数调节单 元(5)向数据提取 单元(4)内部 输入行为判断识别模型 数据； S2、 内容采集单元(2)从输入视频流中获取行为待识别的图像， 作为输入图像， 并将其 传输给行为判断单 元(1)； S3、 行为判断单元(1)通过对象分割单元(3)对输入图像数据进行分割， 从输入图像数 据中提取 出人体特征数据； S4、 行为判断单元(1)通过数据提取单元(4)获取行为判断识别模型数据， 并结合上述 步骤中提取 出的人体特 征数据判断出 该人体特征数据的行为类别。 7.根据权利要求6所述的一种人体行为人工智能判断方法， 其特征在于： 所述行为判断 识别模型基于卷积神经网络构建， 其训练方法具体包括以下步骤： 步骤一： 获取训练样本 图像以及各训练样本对应的行为类别真值标签； 所述训练样本 图像为按时序信息获取视频 数据集中待行为识别的图像； 步骤二： 提取 所述训练样本图像的特 征， 作为第一特 征； 步骤三： 获取当前训练次数T， 若T为1， 则初始化权重参数； 否则获取T ‑1次训练后更新 的权重参数； 所述权重参数包括第一时间特征权重、 第二时间特征权重、 第三时间特征权 重、 第一空间特征权重； 对 所述第一特征进 行2D卷积处理， 并结合所述第一空间特征权重对 2D卷积后的第一特征进行加权处理， 得到第二特征； 对所述第二特征进行批归一化和激活 处理， 得到第三特 征； 步骤四： 基于所述第三特征， 计算相邻帧间的特征相似度， 并结合所述特征相似度对所 述第一时间特征权重、 所述第二时间特征权重进行调整； 通过调整后的第一时间特征权重 对所述第三特征进行加权， 加权后输入1D时间卷积模块、 通过调整后的第二时间特征权重 对所述第三特征进 行加权， 加权后输入高内聚时间表达模块； 将1D时间卷积模块、 高内聚时 间表达模块处理后特征进 行拼接， 作为第四特征； 所述 1D时间卷积模块、 所述高内聚时间表 达模块为的卷积层； 步骤五： 结合所述第三时间特征权重对所述第 四特征进行加权， 并基于加权后的第 四权　利　要　求　书 1/2 页 2 CN 114495156 A 2特征进行行为类别的预测， 得到预测的行为类别； 步骤六： 基于预测的行为类别、 行为类别真值标签， 通过预设的权重参数更新方法对所 述权重参数进行 更新， 更新后跳转 步骤一， 直至得到训练好的行为判断识别模型。 8.一种计算机可读存储介质， 其特征在于： 所述可读存储介质上存储有计算机程序， 所 述计算机程序在被执 行时实现上述的人体行为人工智能判断方法。权　利　要　求　书 2/2 页 3 CN 114495156 A 3