(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111469326.5 (22)申请日 2021.12.0 3 (71)申请人 深圳迪曼深度科技有限公司 地址 518000 广东省深圳市前海深港合作 区南山街道桂湾片区二单元前海卓越 金融中心 （一期） 8号楼16 04 (72)发明人 洪子临　林绢华　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 韩宏星 (51)Int.Cl. G06F 30/17(2020.01) G06F 30/23(2020.01) G06F 30/27(2020.01) G06F 119/08(2020.01)G06F 119/10(2020.01) G06F 119/14(2020.01) (54)发明名称 基于动作价值判断的电机设计方法和相关 装置 (57)摘要 本申请实施例公开了一种基于动作价值判 断的电机设计方法， 包括： 获取用户输入的电机 要求信息； 通过所述电机要求信息得到第一状 态； 根据所述第一权重矩阵和所述第一状态， 计 算得到候选动作的动作价值， 所述候选动作表示 对所述电机的某 个几何尺寸的操作， 所述动作价 值表示采取对应动作时所述电机的性能水平； 将 所述候选动作中动作价值最大的动作确定为目 标动作； 输出包括所述目标动作的信息的电机设 计信息。 权利要求书3页 说明书11页 附图3页 CN 114117681 A 2022.03.01 CN 114117681 A 1.一种基于动作价 值判断的电机设计方法， 其特 征在于， 包括： 获取用户输入的电机要求信息； 通过所述电机要求信 息得到第 一状态， 所述第 一状态表示电机的每个几何尺寸和每个 电磁数据均有唯一 值的电机状态； 根据第一权重矩阵和所述第一状态， 计算得到候选动作的动作价值， 所述第一权重矩 阵为经人工智能网络训练得到的矩阵， 所述候选动作 表示对所述电机的其中一个几何尺寸 的操作， 所述动作价 值表示采取对应动作时所述电机的性能水平； 将所述候选动作中动作价 值最大的动作确定为目标动作； 输出包括所述目标动作的信息的电机设计信息 。 2.根据权利要求1所述的电机设计方法， 其特征在于， 通过所述电机要求信 息得到第 一 状态之后， 根据所述第一权重矩阵和所述第一状态， 计算得到候选动作的动作价值之前， 所 述方法还 包括： 将所述第一状态确定为第二状态； 根据所述第二状态和第一动作得到第三状态、 第一奖励和第二动作， 所述第一动作为 随机动作， 所述第三状态为所述第二状态采取所述第一动作后的状态， 所述第一奖励表示 所述第二状态到所述第三状态的评估， 所述第二动作为除所述第一动作外的随机动作； 确定并保存候选元组， 所述候选元组包括所述第 二状态、 所述第一动作、 所述第 三状态 和所述第一奖励； 判断所述 候选元组的数量是否小于上限值， 所述上限值 为预设的值； 若大于或等于， 则确定所述 候选元组的数量已达所述上限值； 若小于， 则将所述第三状态确定为所述第二状态， 所述第二动作确定为第一动作； 返回执行根据所述第二状态和第一动作得到第三状态、 第一奖励和第二动作， 直到若 大于或等于， 则确定所述 候选元组的数量已达所述上限值 为止； 将所述候选元组中的一个元组确定为训练元组， 所述训练元组包括第 四状态、 第三动 作、 第五状态和第二奖励； 将随机初始化的矩阵确定为第二权 重矩阵； 通过所述第四状态、 所述第三动作和所述第二权 重矩阵进行计算， 得到预测值； 通过所述第五状态、 所述第四动作和所述第二权重矩阵进行计算， 得到目标值， 所述第 四动作表示所有预设的动作； 基于预设的损 失函数， 通过所述第二奖励、 所述目标值中的最大值和所述预测值进行 计算， 得到损失函数值； 基于预设的损失函数， 计算所述损失函数对所述第二权 重矩阵的梯度； 通过所述第二权 重矩阵和所述梯度进行计算， 得到第三权 重矩阵； 判断所述损失函数值是否小于预设阈值； 若是， 则将所述第三权 重矩阵确定为所述第一权 重矩阵； 若否， 则将所述第三权重矩阵确定为所述第二权重矩阵， 且将所述候选元组中的另一 个元组确定为所述训练元组； 返回执行通过所述第四状态、 所述第三动作和所述第二权重矩阵进行计算， 得到预测 值， 直到若是， 则将所述第三权 重矩阵确定为所述第一权 重矩阵为止 。权　利　要　求　书 1/3 页 2 CN 114117681 A 23.根据权利要求2所述的电机设计方法， 其特征在于， 返回执行根据所述第 二状态和第 一动作得到第三状态、 第一奖励和第二动作， 直到若 大于或等于， 则确定所述候选元组的数 量已达所述上限值为止之后， 将所述候选元组中的一个元组确定为训练元组之前， 所述方 法还包括： 对所述候选元组进行随机排序和随机抽取， 得到 筛选元组； 将所述候选元组中的一个元组确定为训练元组， 包括： 将所述筛 选元组中的一个元组确定为训练元组； 若否， 则将所述第三权重矩阵确定为所述第二权重矩阵， 且将所述候选元组中的另一 个元组确定为所述训练元组， 包括： 若否， 则将所述第三权重矩阵确定为所述第二权重矩阵， 且将所述筛选元组中的另一 个元组确定为所述训练元组。 4.根据权利要求2所述的 电机设计方法， 其特征在于， 基于预设的损 失函数， 通过所述 第二奖励、 所述目标值中的最大值和所述预测值进行计算， 得到损失函数值， 包括： 通过以下损失函数进行计算得到所述损失函数值： 所述w为所述第二权 重矩阵； 所述r为所述第二奖励； 所述γ为表示 折扣率的常值， 取值范围为0.9至 0.99； 所述s为所述第四状态； 所述a为所述第三动作， 一个随机动作； 所述Q(s,a,w)为所述预测值； 所述s'为所述第五状态， 由s采取a之后得到的状态； 所述a'为所述第四动作； 所述Q(s',a',w)为所述目标值； 所述maxQ(s' ,a',w)为目标值中的最大值。 5.根据权利要求2所述的电机设计方法， 其特征在于， 通过所述第 二权重矩阵和所述梯 度进行计算， 得到第三权 重矩阵， 包括： 通过以下公式进行计算得到所述第三权 重矩阵： w'＝w‑lr*grad； 所述w'为所述第三权 重矩阵； 所述w为所述第二权 重矩阵； 所述lr为预设的修 正参数， 取值范围为0.01至 0.001； 所述grad为所述梯度。 6.根据权利要求1所述的电机设计方法， 其特征在于， 获取用户输入的电机要求信 息之 后， 通过所述电机要求信息得到第一状态之前， 所述方法还 包括： 判断数据库中是否存在与所述电机要求信息匹配的电机模型； 若存在， 则调用所述电机模型进行处 理， 输出结果； 若不存在， 则确定通过 所述电机要求信息得到所述第一状态。权　利　要　求　书 2/3 页 3 CN 114117681 A 3