(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676664.6 (22)申请日 2021.12.31 (71)申请人 江苏微之润智能技 术有限公司 地址 214000 江苏省无锡市江阴市澄江中 路159号高新区D座 4楼 (72)发明人 吴浩楠　王辉　张帅　徐小军　 范亚峰　 (74)专利代理 机构 无锡松禾知识产权代理事务 所(普通合伙) 32316 专利代理师 朱亮淞 (51)Int.Cl. G01S 13/95(2006.01) G01W 1/14(2006.01) G06F 30/20(2020.01) G06N 3/08(2006.01) (54)发明名称 一种利用深度强化学习的自动调节对波机 械转轴的方法 (57)摘要 本发明公开利用深度学习的自动调节对波 机械转轴的方法， 包括： S1、 根据发射端、 接收端 经纬度及高度， 计算直线距离； S2、 根据自由衰减 理论计算得出链路衰减值； S3、 组合链路发射端、 接收端水平角度与垂直角度得到组合特征值； S4、 对链路电平值与水平垂直角度模型建立训练 集和测试集； S5、 基于深度学习算法建立链路电 平值与水平垂直角度模型并进行训练； S6、 基于 生成的模型， 机械轴进行自调整， 调整至符合要 求的效果， 从而完成链路对波。 本发明能在减少 大量人力物力的情况下提供微波链路自调整的 方法， 实现自动对 波。 权利要求书2页 说明书3页 附图2页 CN 114509765 A 2022.05.17 CN 114509765 A 1.一种利用深度强化学习的自动调节对波机械转轴的方法， 其特征在于， 包括如下步 骤： S1、 根据发射端、 接收端的经纬度及高度， 计算 直线距离； S2、 根据自由衰减理论计算得 出链路衰减值； S3、 组合链路发射端、 接收端的水平角度与垂直角度得到组合特 征值； S4、 对链路电平值与水平 垂直角度模型建立训练集和 测试集； S5、 深度强化学习算法建立链路电平值与水平 垂直角度之间的奖惩模型； S6、 基于生成的奖惩模型， 机械轴进行自调整， 直至符合要求的效果， 从而完成链路对 波。 2.根据权利要求1所述的利用深度强化学习的自动调节对波机械转轴的方法， 其特征 在于， 所述 步骤S1具体包括： S1.1、 根据发射端与接收端的地理位置， 计算链路之间的水平距离， 距离公式如下所 示： 式中， lat1、 lat 2、 lon1、 lon2分别表示发射端与接收端的经纬度； S1.2、 根据S1计算得到的水平距离以及发射端与接收端 的高度关系， 计算得出发射端 与接收端的直线距离， 直线距离公式如下： 式中， h1、 h2分别为发射端与接收端的海拔高度。 3.根据权利要求2所述的一种利用深度强化学习的自动调节对波机械转轴的方法， 其 特征在于， 所述 步骤S2具体包括： S2.1、 根据自由衰减理论计算得出链路衰减值； 由S1.2中计算得到的直线距离以及微 波链路所选用的频 段通过自由空间衰减理论计算得到链路衰减值， 公式如下： L＝32.4+20l og10s+20log10f 式中， f为微波链路选取的频 段。 4.根据权利要求1所述的一种利用深度强化学习的自动调节对波机 械转轴的方法， 其特征在于， 所述 步骤S3具体包括： S4.1、 发射端与接收端水平角以正北方向为0度方向， 正南方向为180度方向， 垂直角度 以杆面下 方为0度方向， 采集发射端与接收端的相关角度信息； S4.2、 根据S1中的发射端与接收端的水平角、 垂直角， 记录微波链路电平值； S4.3、 对采集到的数据进行归一 化， 形成对应的特 征向量。 5.根据权利要求1所述的一种利用深度强化学习的自动调节对波机械转轴的方法， 其 特征在于， 所述 步骤S5具体包括： S5.1、 构建针对能够自调整的具有输入输出 结构的深度强化学习网络； S5.2、 通过采集的角度数据与对应的衰减值数据， 建立一个每一个角度及对应衰减值 的关系训练集； S5.3、 利用Deep  Q‑Learning方法， 结合所述训练集实测衰减值与所述深度强化学习网权　利　要　求　书 1/2 页 2 CN 114509765 A 2络进行训练， 建立下一时刻发射端与接 收端角度调整的链路衰减值的映射关系； 映射关系 可表示为： NewQ(t,a)＝ Q(t,a)+θ[R(t,a)+γmaxa′Q′(t′,a′)‑Q(t,a)] 式中， a表示当前 时刻的动作， t表示当前 时刻的状态， Q(t,a)为记录动作与状态的表， R (t,a)表示当前时刻的动作状态下得到反馈， a ′表示下一时刻的动作， at ′表示下一时刻的 状态； S5.4、 根据下一时刻发射端与接收端角度调整实测的衰减值与理论衰减值得误差， 对 发射端与接收端角度进行调整， 直到误差 达到允许范围内或者达 到最大迭代次数； S5.5、 根据所述的深度强化学习模型， 达 到最佳最薄的目的。权　利　要　求　书 2/2 页 3 CN 114509765 A 3