(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210284202.8 (22)申请日 2022.03.22 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310051 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 孟令超　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 赵娟 (51)Int.Cl. H04N 21/2187(2011.01) H04N 21/43(2011.01) H04N 21/433(2011.01) G06F 9/451(2018.01) (54)发明名称 音视频同步方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例提供了音视频同步方法、 装 置、 设备及存储介质， 应用于客户端， 所述客户端 与云端进行通信连接， 所述方法包括： 客户端接 收云端发送的音视频数据包的音视频信息以及 音视频同步信息， 根据音视频同步信息触发同步 逻辑； 根据触发后的同步逻辑获取音视频渲染延 迟信息， 并根据音视频渲染延 迟信息和音视频信 息得到音视频数据包的相对延 迟信息； 根据音视 频数据包的相对延迟信息得到音频目标延迟信 息和视频目标延迟信息， 以便客户端基于音 频目 标延迟信息和视频目标延迟信息调整缓存大小 进行音视频同步。 通过将所接收的信息作为输入 计算得到音视频同步所需的相对延 迟信息， 不需 要依赖NTP/RTP时间校准， 以及可对于不同的办 公场景动态进行开启关闭。 权利要求书3页 说明书16页 附图3页 CN 114710687 A 2022.07.05 CN 114710687 A 1.一种音视频同步方法， 其特征在于， 应用于客户 端， 所述客户端与云端进行通信连 接， 所述方法包括： 所述客户端接收所述云端发送的音视频数据包的音视频信 息以及音视频同步信 息， 根 据所述音视频同步信息触发同步逻辑； 其中， 所述音视频同步信息用于表示当前场景符合 预设音视频同步 开启条件； 根据触发后的同步逻辑获取音视频渲染延迟信 息， 并根据 所述音视频渲染延迟信 息和 所述音视频信息得到音视频 数据包的相对延迟信息； 根据所述音视频数据包的相对延迟信 息得到音频目标延迟信 息和视频目标延迟信 息， 以便客户端基于所述音频目标延迟信息和所述视频目标延迟信息调整缓存大小进行音视 频同步。 2.根据权利要求1所述的方法， 其特征在于， 所述客户端包括端口模块， 所述云端包括 云桌面/云应用操作系统与云桌面/云应用服务端； 所述客户端接收所述云端发送的音视频 信息， 包括： 通过所述端口模块接收所述云桌面/云应用服务端发送的音视频信息； 所述音视频信 息为所述云桌 面/云应用操作系统响应用户操作产生的媒体数据。 3.根据权利要求1所述的方法， 其特征在于， 所述客户端接收所述云端发送的音视频同 步信息， 包括： 所述客户端接收由所述云端在判定当前场景符合预设音视频开启条件后所发送的音 视频同步信息； 所述预设音视频同步开启条件包括在音视频播放和/或语音通话场景下存 在传输的视频流且用户输入操作的次数在预设时间段内小于预设阈值。 4.根据权利要求3所述的方法， 其特征在于， 所述客户端包括端口模块， 所述云端包括 云桌面/云应用服务端； 所述客户端接 收由所述云端在判定当前场景符合预设音视频开启 条件后所发送的音视频同步信息， 包括： 通过所述端口模块接收所述云桌面/云应用服务端发送的音视频同步信息； 所述音视 频同步信息为所述云桌面/ 云应用服务端内的场景检测模块在判定 当前场景符合预设音视 频开启条件后生成。 5.根据权利要求1所述的方法， 其特征在于， 所述客户端包括端口模块和媒体兼容模 块； 所述根据触发后的同步逻辑获取音视频渲染延迟信息， 并根据所述音视频渲染延迟信 息和所述音视频信息得到音视频 数据包的相对延迟信息， 包括： 在触发后的同步逻辑中， 通过所述端口模块从所述媒体兼容模块实时获取音视频渲染 延迟信息， 并通过所述端口模块根据所实时读取的音视频渲 染延迟信息和所接收的音视频 信息得到音视频 数据包的相对延迟信息 。 6.根据权利要求1或5所述的方法， 其特征在于， 所述音视频数据包的相对延迟信息包 括当前时刻的音视频相对延迟信息； 所述根据所述音视频渲 染延迟信息和所述音视频信息 得到音视频 数据包的相对延迟信息， 包括： 根据所述音视频信息计算得到当前 所接收的音频 数据包的当前音视频相对延迟信息； 根据所述音视频渲染延迟信息计算得到音视频的目标延迟信息； 采用所述当前音视频的目标延迟信 息之差， 与 所述当前所接收的音频数据包的音视频 相对延迟信息的和， 得到当前时刻的音视频相对延迟信息 。权　利　要　求　书 1/3 页 2 CN 114710687 A 27.根据权利要求6所述的方法， 其特征在于， 所述音视频信 息包括针对当前所接收的音 视频数据包的视频到达时间、 音频到达时间、 视频采集时间以及音频采集时间； 所述根据所 述音视频信息计算得到当前 所接收的音频 数据包的当前音视频相对延迟信息， 包括： 采用针对当前所接收的音视频数据包的视频到达时间与音频到达时间之差， 与视频采 集时间与音频采集时间之差的差值， 计算得到 当前所接收的音频数据包的当前音视频相对 延迟信息 。 8.根据权利要求6所述的方法， 其特征在于， 所述根据所述音视频渲染延迟信 息计算得 到音视频的目标延迟信息， 包括： 获取上一 次同步生效后的视频总延迟信 息和音频总延迟信 息， 以及采用所述音视频渲 染延迟信息分别计算得到期望 视频目标延迟信息与期望音频目标延迟信息； 将所述上一次同步生效后的视频总延迟信息与期望视频目标延迟信息中的较大者作 为当前视频目标延迟信息， 以及将上一次同步生效后的音频总延迟信息与期望音频目标延 迟信息中的较大者作为当前音频目标延迟信息； 采用所述当前视频目标延迟信 息和所述当前音频目标延迟信 息的差值， 计算得到音视 频的目标延迟信息 。 9.根据权利要求8所述的方法， 其特征在于， 所述音视频渲染延迟信 息包括音频渲染延 迟信息、 视频渲染延迟信息以及视频解码延迟信息； 所述采用所述音视频渲染延迟信息分 别计算得到期望 视频目标延迟信息与期望音频目标延迟信息， 包括： 采用所述视频渲染延迟信 息与所述视频解码延迟信 息之和， 计算得到期望视频目标延 迟信息； 以及， 采用预设音频抖动缓冲区的当前缓存延迟与所述音频渲染延迟信息之和， 计算 得到期望 视频目标延迟信息 。 10.根据权利要求1所述的方法， 其特征在于， 所述客户端包括端口模块， 所述根据 所述 音视频数据包的相对延迟信息得到音频目标延迟信息和视频目标延迟信息， 包括： 通过所述端口模块根据所述音视频数据包的相对延迟信息得到音频目标延迟信息和 视频目标延迟信息 。 11.根据权利要求1或10所述的方法， 其特征在于， 所述根据所述音视频数据包的相对 延迟信息得到音频目标延迟信息和视频目标延迟信息， 包括： 按照预设时间间隔， 不断基于所述当前时刻的音视频相对延迟信息， 得到针对下一次 音视频数据包的下一次音频目标延迟信息和下一次视频目标延迟信息， 以便客户端基于下 一次音频目标延迟信息和下一次视频目标延迟信息调整缓存大小 进行音视频同步； 其中， 所述当前时刻的音视频相对延迟信 息基于当前音频的目标延迟信 息和当前视频 的目标延迟信息确定； 所述基于所述当前时刻的音视频相对延迟信息， 得到针对下一次音 视频数据包的下一次音频目标延迟信息和下一次视频目标延迟信息， 包括： 在所述当前时刻的音视频相对延迟信 息大于零 时， 减小所述当前时刻的音视频相对延 迟信息得到下一次音频目标延迟信息， 或者增大所述当前视频的目标延迟信息得到下一次 视频目标延迟信息； 和/或， 在所述当前时刻的音视频相对延迟信 息小于零 时， 增大所述当前时刻的音视频 相对延迟信息得到下一次音频目标延迟信息， 或者减小所述当前视频的目标延迟信息得到权　利　要　求　书 2/3 页 3 CN 114710687 A 3