(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111492642.4 (22)申请日 2021.12.08 (66)本国优先权数据 202111107599.5 2021.09.2 2 CN (71)申请人 中国人民解 放军空军工程大 学 地址 710000 陕西省西安市长乐 东路甲字 一号 (72)发明人 黄聪会　王超哲　柴世杰　李韬锐　 贾林通　黄鹤松　李慎波　童奇　 王彪　 (74)专利代理 机构 广东省中源正拓专利代理事 务所(普通 合伙) 44748 代理人 王明亮 (51)Int.Cl. G06F 30/15(2020.01)G06F 30/27(2020.01) G06K 9/62(2022.01) G06F 119/14(2020.01) (54)发明名称 面向深度强化学习的飞行动力学模型可信 度评估方法 (57)摘要 本发明公开了面向深度强化学习的飞行动 力学模型可信度评估方法， 属于无人机领域， 涉 及深度强化学习技术， 用于克服现有的技术存在 的试验空间广， 试验因子多， 变化范围大， 难以覆 盖所有条件的问题， 还用于解决参考数据难以获 得， 仿真输出和参考输出受不确定性的影响具有 随机性的问题。 本发明在分析飞行动力学模型用 途基础上， 建立基于飞行动作的飞行动力学模型 可信度量化模 型， 并提出基于无人机航模获取参 考数据的飞行动力学模型可信度评估流程， 从而 为深度强化学习选择飞行动力学模 型提供依据， 并为深度强化学习方法在无人机自动控制方面 的应用打下基础。 权利要求书1页 说明书5页 附图1页 CN 114329766 A 2022.04.12 CN 114329766 A 1.面向深度强化学习的飞行动力学模型 可信度评估方法， 其特 征在于， 包括： 制作无人机航模， 并基于不同飞行动力学模型建立无 人机航模的仿真模型； 从基本机动动作 决策集中选取一种基本机动动作， 生成其对应控制命令序列， 进而使 用该控制命令序列驱动无 人机航模及其仿真模型进行飞行， 记录其输出轨 迹； 以无人机航模输出轨迹为参考数据， 计算其他无人机航模仿真模型与 无人机航模输出 轨迹的相似度； 在选取完所有基本机动动作和完成对应轨迹相似度计算后， 计算飞行动力学模型的相 似度并排序， 完成飞行动力学模型 可信度评估。 2.根据权利要求1所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 基本机动动作包括稳定飞行、 最大加速度飞行、 最大减速飞行、 最大过载右 转、 最大 过载左转、 最大 过载拉升以及最大 过载俯冲。 3.根据权利要求2所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 每种所述基本机动动作对应一种动作定义(Nx， Nz)与动作标识 ai， 其中i为动作标 识编号， i 为正整数， 且i ＝1， 2……7。 4.根据权利要求3所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， Nx为飞机沿速度矢量方向的过 载， Nz为飞机对称面内与速度矢量方向垂直的过 载。 5.根据权利要求1所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 轨 迹的相似度的计算方式为： 其中， A为由基本 机动动作ai构成的集 合， Wi为基本机动动作ai可信度 的权重。 6.根据权利要求1所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 输出轨迹是移动对 象的时间和空间的记录序列， 由时间域向空间域映射的函数表 示。 7.根据权利要求1所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 无 人机的整个飞行 过程视为若干基本飞行动作的组合。 8.根据权利要求1所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 计算其他无人机航模仿真模型与无人机航模输出轨迹的相似度时采用同样控制命 令， 并分析输出的飞行参数。 9.根据权利要求8所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 所述飞行参数包括T， N， E， H， V， θ， μ， α， β， nx， nz， Ma； 其中， T为每个记录点的时刻， N为纬度坐标， E为经度坐标， H为海拔高度， V为空速， ψ为 偏航角， θ为俯仰角， μ为滚转角， α 为迎角， β 为侧滑角， nX为纵向过载， nZ为法向过载， Ma为马 赫数。 10.根据权利要求1所述的面向深度强化学习的飞行动力学模型可信度评估方法， 其特 征在于， 飞行参数 是数据基础， 且将评估飞行器操纵品质的参数集 合记为： 权　利　要　求　书 1/1 页 2 CN 114329766 A 2面向深度强化学习的飞行动力学模型可信度评估方 法 技术领域 [0001]本发明属于无人机领域， 涉及深度强化学习技术， 具体是面向深度强化学习的飞 行动力学模型 可信度评估方法。 背景技术 [0002]深度强化学习研究通常在逼真的仿真环境中训练目标机器人的控制策略， 再将其 迁移到真实的机器人， 以避免真实环 境中复杂和昂贵的训练过程。 因此， 在 采用深度强化学 习方法训练无人机控制策略的过程中， 逼真的飞行模拟器十分关键， 决定无人机控制策略 迁移到真实无人机的难易程度。 视景仿真和飞行动力学模型是飞行模拟器的两个核心组 件， 其中飞行动力学模型组件建立 飞行器运动动力学模型和飞行控制模型， 接收用户输入， 并输出飞行器运动状态， 是仿真环境中训练无 人机控制策略的关键组件。 [0003]目前缺乏深度强化学习在无人机自动控制方面的研究， 其原因在于飞行动力学模 型可信度存在问题。 飞行动力学模型是对飞行器运动控制 机理的建模， 与无人机在真实环 境中的运动控制存在偏差。 这种偏差越大， 飞行动力学模型可信度就越低， 反之则越高。 采 用深度强化学习研究无人机自动控制要求飞行动力学模型可信度越高越好， 这样从仿 真环 境中训练得到的无人机控制策略越接近真实， 迁移到真实无人机的难度就越低。 然而当前 缺乏科学合理的飞行动力学模型 可信度评估方法。 [0004]为此， 提出面向深度强化学习的飞行动力学模型 可信度评估方法。 发明内容 [0005]本发明提供了面向深度强化学习的飞行动力学模型可信度 评估方法， 用于克服现 有的技术存在的试验空间广， 试验因子多， 变化范围大， 难以覆盖所有条件的问题， 还用于 解决参考数据难以获得， 仿真输出和参考输出受不确定性的影响具有随机性的问题。 本发 明在分析飞行动力学模型用途基础上， 建立基于飞行动作的飞行动力学模 型可信度量化模 型， 并提出基于无人机航模获取参考数据的飞行动力学模型可信度评估流程， 从而为深度 强化学习选择飞行动力学模型提供依据， 并为深度强化学习方法在无人机自动控制方面的 应用打下基础。 [0006]本发明的目的可以通过以下技 术方案实现： [0007]面向深度强化学习的飞行动力学模型 可信度评估方法， 包括： [0008]制作无人机航模， 并基于不同飞行动力学模型建立无 人机航模的仿真模型； [0009]从基本机动动作决策集中选取一种基本机动动作， 生成其对应控制命令序列， 进 而使用该控制命令序列驱动无 人机航模及其仿真模型进行飞行， 记录其输出轨 迹； [0010]以无人机航模输出轨迹为参考数据， 计算其他无人机航模仿真模型与无人机航模 输出轨迹的相似度； [0011]在选取完所有基本机动动作和完成对应轨迹相似度计算后， 计算飞行动力学模型 的相似度并排序， 完成飞行动力学模型 可信度评估。说　明　书 1/5 页 3 CN 114329766 A 3