(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210528508.3 (22)申请日 2022.05.16 (71)申请人 北京京东乾石科技有限公司 地址 100176 北京市大兴区经济技 术开发 区科创十一街18号院2号楼19层A1905 室 (72)发明人 徐鑫　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 20/58(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/762(2022.01) G06K 9/62(2022.01) B60W 60/00(2020.01) (54)发明名称 活动意图预测方法、 装置及无 人车 (57)摘要 本申请公开了一种活动意图预测方法、 装置 及无人车。 方法的一具体实施方式包括： 对获取 的待处理图像进行特征提取， 得到特征图； 根据 特征图， 生成表征待处理图像中的每个目标对象 的个人活动信息和每个目标群体的群体活动信 息的目标活动图； 根据特征图和目标活动图进行 活动意图预测， 得到活动意图预测结果。 本申请 利用目标活动图中目标对象之间的空间关系和 特征图中的视觉信息进行活动意图预测， 提高了 活动意图预测的速度和准确度。 权利要求书3页 说明书18页 附图8页 CN 114821537 A 2022.07.29 CN 114821537 A 1.一种活动意图预测方法， 包括： 对获取的待处 理图像进行 特征提取， 得到特 征图； 根据所述特征图， 生成表征所述待处理图像中的每个目标对象的个人活动信 息和每个 目标群体的群体活动信息的目标活动图； 根据所述特 征图和所述目标活动图进行活动意图预测， 得到活动意图预测结果。 2.根据权利要求1所述的方法， 其中， 所述根据所述特征图， 生成表征所述待处理图像 中的每个目标对象的个人活动信息和每 个目标群 体的群体活动信息的目标活动图， 包括： 根据所述特征图， 逐阶段细化所述待处理图像中的个人活动信息和群体活动信息， 将 最后阶段 得到的活动图确定为所述目标活动图。 3.根据权利要求2所述的方法， 其中， 其中， 所述根据所述特征图， 逐阶段细化所述待处 理图像中的个人活动信息和群体活动信息， 将最后阶段得到的活动图确定为所述目标活动 图， 包括： 对于细化所述待处理图像中的个人活动信息和群体活动信息的过程所涉及的每个阶 段， 基于所述特 征图和上一阶段 得到的活动图， 生成该阶段的活动图。 4.根据权利要求3所述的方法， 其中， 所述基于所述特征图和上一阶段得到的活动图， 生成该阶段的活动图， 包括： 基于所述特征图和上一阶段得到的活动图中的人体姿态骨架信 息， 生成该阶段的活动 图。 5.根据权利要求4所述的方法， 其中， 所述根据所述特征图和所述目标活动图进行活动 意图预测， 得到活动意图预测结果， 包括： 根据所述特征图和所述目标活动图中的人体姿态骨架信息， 进行活动意图预测， 生成 表征所述活动意图预测结果的像素 标记图。 6.根据权利要求1 ‑5中任一项所述的方法， 其中， 还 包括： 根据所述活动意图预测结果， 确定自动驾驶车辆的控制信息 。 7.一种活动意图预测模型的训练方法， 包括： 获取训练样本集， 其中， 所述训练样本集中的训练样本包括样本图像、 表征样本图像中 的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标签活动图， 以及表征 群体活动信息的意图的类别标签； 利用机器学习算法， 基于特征提取子网络得到输入的样本 图像的特征图， 以所述特征 图为活动图子网络的输入， 得到第一输出； 以所述特征图和所述第一输出为类别子网络的 输入， 得到第二输出； 基于所述第一输出与输入的样本图像对应的标签活动图之间的第一 损失， 以及所述第二输出和输入的样本图像对应的类别标签之间的第二损失， 更新包括所 述特征提取子网络、 所述活动图子网络和所述类别子网络的活动意图预测模型， 得到训练 后的活动意图预测模型。 8.根据权利要求7所述的方法， 其中， 所述以所述特征图为活动图子网络的输入， 得到 第一输出， 包括： 通过所述活动图子网络中的多个活动图模块， 基于所述特征图， 逐阶段细化输入的样 本图像中的个人活动信息和群体活动信息， 将最后的活动图模块得到的活动图确定为所述 第一输出； 以及权　利　要　求　书 1/3 页 2 CN 114821537 A 2所述第一损失基于各活动图模块得到的活动图与输入的样本图像对应的标签活动图 之间的损失得到 。 9.根据权利要求8所述的方法， 其中， 所述通过所述活动图子网络中的多个活动图模 块， 基于所述特征图， 逐阶段细化输入的样本图像中的个人活动信息和群体活动信息， 包 括： 对于所述多个活动图模块中的每个活动图模块， 根据所述特征图和上一活动图模块输 出的活动图， 生成该活动图模块的活动图。 10.根据权利要求9所述的方法， 其中， 所述根据所述特征图和上一活动图模块输出的 活动图， 生成该活动图模块的活动图， 包括： 基于所述特征图和上一活动图模块输出的活动图中的人体姿态骨架信 息， 生成该活动 图模块的活动图。 11.根据权利要求10所述的方法， 其中， 所述以所述特征图和所述第 一输出为类别子网 络的输入， 得到第二输出， 包括： 根据所述特征图和所述第一输出中的人体姿态骨架信息， 进行活动意图预测， 生成表 征活动意图预测结果的像素 标记图， 作为所述第二输出。 12.根据权利要求7所述的方法， 其中， 所述基于所述第一输出与输入的样本图像对应 的标签活动图之间的第一损失， 以及所述第二输出和输入的样本图像对应的类别标签之间 的第二损失， 更新包括所述特征提取子网络、 所述活动图子网络和所述类别子网络的活动 意图预测模型， 得到训练后的活动意图预测模型， 包括： 根据所述第 一损失更新所述特征提取子网络和所述活动图子网络， 以得到训练后的特 征提取子网络和活动图子网络； 以所述第一损 失和所述第二损 失更新所述训练后的特征提取子网络、 活动图子网络， 以及所述类别子网络， 得到训练后的活动意图预测模型。 13.根据权利要求7 所述的方法， 其中， 样本图像的标签活动图通过如下 方式得到： 确定样本图像 中的目标对象的边界框， 以及样本图像对应的个人活动意图标签和群体 活动意图标签； 采用二维高斯概率密度函数， 基于样本 图像中的目标对象的边界框、 个人活动意图标 签和群体活动意图标签， 生成样本图像对应的标签活动图。 14.一种活动意图预测装置， 包括： 特征提取单元， 被配置成对获取的待处 理图像进行 特征提取， 得到特 征图； 生成单元， 被配置成根据所述特征图， 生成表征所述待处理图像中的每个目标对象的 个人活动信息和每 个目标群 体的群体活动信息的目标活动图； 得到单元， 被配置成根据所述特征图和所述目标活动图进行活动意图预测， 得到活动 意图预测结果。 15.一种活动意图预测模型的训练装置， 包括： 获取单元， 被配置成获取训练样本集， 其中， 所述训练样本集中的训练样本包括样本图 像、 表征样本图像中的每个目标对象的个人活动信息和每个目标群体的群体活动信息的标 签活动图， 以及表征群 体活动信息的意图的类别标签； 训练单元， 被配置成利用机器学习算法， 基于特征提取子网络得到输入的样本 图像的权　利　要　求　书 2/3 页 3 CN 114821537 A 3