(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210158057.9 (22)申请日 2022.02.21 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 石小峰　杨芳　蔡春茂　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 李晓兵 (51)Int.Cl. G06T 13/40(2011.01) G06F 3/16(2006.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/284(2020.01)G06F 40/30(2020.01) G10L 13/02(2013.01) G10L 15/22(2006.01) G10L 15/26(2006.01) G10L 15/30(2013.01) (54)发明名称 智能网联汽车助手对话和形象管理系统和 方法 (57)摘要 本发明涉及一种智能网联汽车助手对话和 形象管理系统和方法， 系统包括车载主机终端和 云端； 所述车载主机终端包括设备层和应用层， 所述应用层为车载主机内所搭载的智能网联汽 车助手APP； 所述设备层用于智能网联汽车助手 形象动作展示； 所述云端包括NLU模块、 DM模块、 NLG模块、 云端动作执行引擎； 所述应用层与云端 通信连接， 所述设备层与云端通过TSP实现通信 连接。 本发明提供了一种将NLU、 DM和动作执行引 擎相结合的技术， 解决了智能网联汽 车助手语音 回复内容与形象动作联动的问题， 让形象动作兼 具情感性与专业性， 提供给车载主机终端良好的 动画反馈， 满足用户对情感化、 形象化3D形象车 载语音助手的需求。 权利要求书2页 说明书5页 附图4页 CN 114529641 A 2022.05.24 CN 114529641 A 1.智能网联汽车助手对话和形象管理系统， 包括车载主机终端和云端， 其特征在于： 车 载主机终端接收来自云端的动作指 令从而完成智能网联汽车助手形象动作执行， 所述云端 用于为所述智能网联汽车助手形象动作配置情感类型标签、 问题类型标签以及相应的动作 类型标签， 并在所述动作类型 标签下配置相应的形象动作资源； 所述车载主机终端包括设备层和应用层， 所述应用层为车载主机内所搭载的智能网联 汽车助手APP， 用于形象动作执行、 形象动作渲染和 语音问答呈现； 所述设备层用于智能网 联汽车助手形象动作展示； 所述云端包括 NLU模块、 DM模块、 N LG模块、 云端动作执 行引擎； 所述应用层与云端通信连接， 所述设备层与云端通过TS P实现通信连接 。 2.根据权利要求1所述智能网联汽车助手对话和形象管理系统， 其特征在于： 所述设备 层包括麦克风， 所述麦克风将语音转换为文本， 并通过TSP将文本上传至 云端的NLU模块； 所 述应用层还 包括TTS模块， 用于朗读所述 NLG模块生成的系统语言。 3.根据权利要求2所述智能网联汽车助手对话和形象管理系统， 其特征在于：  所述NLU 模块用于对文本进 行预处理及词法分析、 句法分析、 语义分析和情感倾向分析， 并映射用户 对话行为， 获得对话内容的情感类型标签和问题类型标签从而初步确定形象动作标签的类 型； 所述DM模块用于维护和更新对话的状态， 对用户所提出的问题进行分类， 并基于当前 的对话状态选择接下来 合适的动作； 所述NLG模块用于生成系统语言； 所述云端动作执行引擎根据DM模块的处理结果， 在NLU模块所给定的形象动作标签类 型中指定相应的形象动作 作为反馈结果， 以实现将动作 与语音问答回复相匹配。 4.根据权利要求3所述智能网联汽车助手对话和形象管理系统， 其特征在于： 所述TTS 模块进行朗读系统语言与所述设备层进行智能网联汽车助手形象动作展示 为同步进行。 5.根据权利要求4所述智能网联汽车助手对话和形象管理系统， 其特征在于： 所述TTS 模块的输出结果为言语波 形， 并通过设备层的扬 声器进行播放， 以实现朗读NLG模块生成的 系统语言。 6.根据权利要求3所述智能网联汽车助手对话和形象管理系统， 其特征在于： 在NLU模 块中， 所述情感类型标签包括： 积极、 中性和消极； 所述问题类型标签包括： 车控类、 应用控 制类； 在DM模块中对用户所提出的问题进行分类， 类型包括： 闲聊型、 问答型和多轮对话型。 7.智能网联汽车助手对话和形象管理方法， 其特征在于： 采用如权利要求1所述的智能 网联汽车助手对话和形象管理系统， 具体包括以下步骤： S1： ASR‑NLP‑TTS的车载主机终端用户认证信息管理， 采用token认证， 验证token成功 后返回资源数据到车 载主机终端； S2： ASR过程， 车载主机终端的麦克风将接收到的语音转换成文本， 并将文本通过TSP发 送给云端； S3： NLU过程， 云端的NLU模块对文本进行处理， 初步确定智能网联汽车助手形象动作标 签的类型； S4： 对话管理过程， 云端的DM模块维护和更新对话的状态， 包含所有可能会影响到接下权　利　要　求　书 1/2 页 2 CN 114529641 A 2来决策的信息， 并对问题进行分类， 然后基于当前的对话状态， 选择接下来 合适的动作； S5： TTS过程， TTS模块收到NLG模块下发的系统语言文本后， 对文本进行语言学分析， 将 语言学描述 转化成言语波形并通过设备层的扬声器进行播 放； S6： 形象动作执行， 云端动作执行引擎实现将动作与语音问答回复相匹配后， 下发对应 的动作指 令给车载主机终端的动作渲 染SDK， 动作渲 染SDK根据所收到的动作指 令查找云端 对应的可 执行文件路径， 获取云端对应的形象动作资源并在渲染引擎中执 行； S7： 形象动作渲染， 在智能网联汽车助手AP P中初始化 渲染引擎并最终完成动作执 行。 8.根据权利要求7所述智能网联汽车助手对话和形象管理方法， 其特征在于： 所述步骤 S1中， 用户通过用户名和密码发送请求， 在完成服务器中的程序验证后返回一个签名的 token给车载主机终端储 存， 所述签名的to ken每次用于发送请求。 9.根据权利要求7所述智能网联汽车助手对话和形象管理方法， 其特征在于： 所述步骤 S3中， NLU模块对文本进行预处理、 词法分析、 句法分析、 语义分析和情感倾 向分析， 在情感 倾向分析中采用支持向量机， 解决小样本、 非线性及高维识别。 10.根据权利要求7所述智能网联汽车助手对话和形象管理方法， 其特征在于： 所述步 骤S7中， 在车载主机终端的智能网联汽 车助手APP中初始 化渲染引擎， 在需要显示的形象动 作的XML布局文件里添加视图并设置好大小， 初始化视图， 调用渲染SDK接口加载资源展示 形象动作并确定要显示的模式， 调用渲染SDK接口绑定生命周期， 加载资源文件， 资源加载 成功后执 行动作， 执 行动作完成后调用渲染S DK接口释放资源完成视图销毁。权　利　要　求　书 2/2 页 3 CN 114529641 A 3