(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210612861.X (22)申请日 2022.05.31 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 李帅成　杨昆霖　侯军　伊帅　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/766(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) (54)发明名称 时序动作提名的生 成方法及装置、 电子设备 和存储介质 (57)摘要 本公开涉及一种时序动作提名的生成方法 及装置、 电子设备和存储介质， 所述方法包括： 对 由待识别视频得到的多个视频片段进行特征提 取， 得到多个第一特征； 针对任一所述视频片段， 基于所述视频片段及其邻近视频片段之间的关 联关系， 对所述视频片段的第一特征进行更新， 得到所述视频片段的第二特征， 其中， 所述邻近 视频片段位于所述视频片段的目标邻域内； 基于 所述多个视频片段的第二特征， 生成所述待识别 视频的目标时序动作提名。 本公开实施例可以生 成待识别视频对应的准确率较高的目标时序动 作提名。 权利要求书2页 说明书16页 附图3页 CN 115035440 A 2022.09.09 CN 115035440 A 1.一种时序动作提名的生成方法， 其特 征在于， 包括： 对由待识别视频 得到的多个视频片段进行 特征提取， 得到多个第一特 征； 针对任一所述视频片段， 基于所述视频片段及其邻近视频片段之间的关联关系， 对所 述视频片段的第一特征进 行更新， 得到所述视频片段的第二特征， 其中， 所述邻近视频片段 位于所述视频片段的目标邻域内； 基于所述多个视频片段的第二特 征， 生成所述待识别视频的目标时序动作提名。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述视频片段及其邻 近视频片段 之间的关联关系， 对 所述视频片段的第一特征进 行更新， 得到所述视频片段的第二特征， 包 括： 针对任一所述视频片段， 提取所述视频片段及其邻 近视频片段的第 一特征在时序 上的 上下文信息， 得到所述视频片段的第三特 征； 确定所述视频片段与其邻近 视频片段之间的目标相似度权 重； 基于所述目标相似度权重， 对所述视频片段及其邻近视频片段的第三特征进行融合， 以更新所述视频片段的第一特 征； 迭代地执行上述步骤， 在达到预设迭代次数的情况下， 将所述视频片段对应的更新后 的第一特 征， 确定为所述视频片段的第二特 征。 3.根据权利要求2所述的方法， 其特 征在于， 所述目标邻域对应至少一个邻域尺度； 所述确定所述视频片段与其邻近 视频片段之间的目标相似度权 重， 包括： 针对任一所述邻域尺度， 确定所述视频片段与其在所述邻域尺度 下对应的邻 近视频片 段之间的初始相似度权 重； 对所述至少一个邻域尺度对应的初始相似度权重进行融合， 得到所述目标相似度权 重。 4.根据权利要求3所述的方法， 其特征在于， 所述确定所述视频片段与其在所述邻域尺 度下对应的邻近 视频片段之间的初始相似度权 重， 包括： 针对任一所述视频片段， 对所述视频片段与其在所述邻域尺度 下对应的邻 近视频片段 的第三特征， 进行编码处理， 得到所述视频片段与其在所述邻域尺度下对应的邻近视频片 段之间的关系特 征； 对所述关系特征进行解码处理， 得到所述视频片段与其在所述邻域尺度 下对应的邻 近 视频片段之间的初始相似度权 重。 5.根据权利要求3所述的方法， 其特征在于， 所述确定所述视频片段与其在所述邻域尺 度下对应的邻近 视频片段之间的初始相似度权 重， 包括： 针对任一所述视频片段， 确定所述视频片段的第三特征， 与其在所述邻域尺度下对应 的邻近视频片段的第三特 征之间的特 征距离； 基于所述特征距离， 得到所述视频片段与其在所述邻域尺度下对应的邻 近视频片段之 间的初始相似度权 重。 6.根据权利要求2至5中任意一项所述的方法， 其特征在与， 所述基于所述目标相似度 权重， 对所述视频片段及其邻近视频片段的第三特征进行融合， 以更新所述视频片段的第 一特征， 包括： 将所述视频片段的第 三特征， 以及所述目标相似度权重大于相似度权重阈值的邻 近视权　利　要　求　书 1/2 页 2 CN 115035440 A 2频片段的第三特 征进行融合， 以更新所述视频片段的第一特 征。 7.根据权利要求1至6中任意一项所述的方法， 其特征在于， 所述基于所述多个视频片 段的第二特 征， 生成所述待识别视频的目标时序动作提名， 包括： 基于所述多个视频片段的第二特征， 进行分类处理， 得到所述待识别视频的第一初始 时序动作提名； 基于所述多个视频片段的第 二特征， 以及所述第 一初始时序动作提名， 进行回归处理， 得到所述待识别视频的第二初始时序动作提名； 基于所述第 一初始时序动作提名和所述第 二初始时序动作提名， 确定所述目标时序动 作提名。 8.一种时序动作提名的生成装置， 其特 征在于， 包括： 特征提取模块， 用于对由待识别视频得到的多个视频片段进行特征提取， 得到多个第 一特征； 更新模块， 用于针对任一所述视频片段， 基于所述视频片段及其邻近视频片段之间的 关联关系， 对所述视频片段的第一特征进行更新， 得到所述视频片段的第二特征， 其中， 所 述邻近视频片段位于所述视频片段的目标邻域内； 提名生成模块， 用于基于所述多个视频片段的第二特征， 生成所述待识别视频的目标 时序动作提名。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至7中任意 一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求1至7中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115035440 A 3