(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210924147.4 (22)申请日 2022.08.03 (65)同一申请的已公布的文献号 申请公布号 CN 115018472 A (43)申请公布日 2022.09.06 (73)专利权人 中国电子科技 集团公司第五十四 研究所 地址 050081 河北省石家庄市桥西区中山 西路589号航天信息应用技术重点实 验室 (72)发明人 刘敬一　陈金勇　郭琦　孟楠　 姚晨　朱进　楚博策　 (74)专利代理 机构 河北东尚律师事务所 13124 专利代理师 王文庆　曲佳颖 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01) G06Q 10/04(2012.01) G06F 40/205(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 114091621 A,202 2.02.25 CN 111461067 A,2020.07.28 CN 112132179 A,2020.12.25 CN 112884021 A,2021.0 6.01 CN 107861942 A,2018.0 3.30 CN 104951425 A,2015.09.3 0 CN 10419 9971 A,2014.12.10 CN 112488316 A,2021.0 3.12 CN 110046707 A,2019.07.23 郭璇， 吴文辉， 肖治庭， 袁宏国.基 于深度学 习和公开 来源信息的反恐情 报挖掘. 《信息系 统》 .2017,(第9期),第13 5-138页. David Bau， Bo lei Zhou， Aditya Khosla， Aude Oliva.Netw ork Dissection:Quantifyi ng Interpretabi lity of De ep Visual Representati ons. 《IEEE Conference o n Computer Visi on and Pat tern Recogn ition》 .2017,第3 319-3326页. 审查员 郝婧 (54)发明名称 一种基于可解释机制的交互式增量化情报 分析系统 (57)摘要 本发明公开了一种基于可解释机制的交互 式增量化情报分析系统， 属于情报数据分析服务 领域， 该系统包括深度神经网络学习器、 模型解 释器、 人机交互器、 样本增强生成器、 增量学习器 和零小样本处置器， 其中， 多源情报数据输入深 度神经网络学习器进行训练； 先后通过模型解释 器、 人机交互器、 样本增强生 成器和增量学习器， 实现足量样 本情况下的情报分析透明化、 可交互 化、 增量化地提升； 并通过模型解释器、 人机交互 器以及零小样本处置器实现情报数据分析中新 情况、 新事件的零小样本学习与分析处理。 本发明可有效克服基于深度神经网络等 “黑盒”模型 技术的传统情报分析处理机制盲目甚至无效学 习的瓶颈问题。 权利要求书1页 说明书4页 附图1页 CN 115018472 B 2022.11.11 CN 115018472 B 1.一种基于可解释机制的交互式增量化情报分析系统， 其特征在于， 包括深度神经网 络学习器、 模型解释器、 人机交 互器、 样本增强生成器、 增量学习器和零小样本处置器； 深度神经网络学习器用于接收多源情报数据样本， 进行包括目标智能监测识别、 文本 智能处理、 轨迹融合和轨迹预测功能用到的深度神经网络模型的训练， 将训练好的模型和 多源情报数据样本输出至模型解释器； 还用于在模型修正后得到目标智能监测识别、 文本 智能处理、 轨迹融合和轨迹预测的处理结果； 其中多源情报数据样本为足量样本或零小样 本； 模型解释器用于对训练好的模型进行透 明化和可理解化， 将模型的解释结果输出至人 机交互器和零小样本处置器， 并将多源情报数据样本输出至人机交互器； 其中模型 的解释 结果包含模型内部结构的解释以及产生结果的溯因； 其中， 对训练好的模型进行透明化和 可理解化的具体实现过程 为： 从浅层特征和深层语义两个角度分别采用基于特征空间以及基于隐语义的可解释方 法， 从模型内部结构以及模型结果与输入关联关系方面对模型进行解释， 得出深度神经网 络结构中神经元激活状态与高阶语义的映射关系， 以及输入样本中典型特征与输出结果的 关联关系， 并以文本以及图谱化的形式进行 可视化展示； 人机交互器用于在多源情报数据样本为足量样本时借助模型解释器对模型内部结构 的解释以及产生结果的溯因， 依靠人为经验知识对多源情报数据样本进行正向干预， 将干 预后的多源情报数据样本输出至样本增强生成器， 在多源情报数据样本为零小样本时将人 为经验知识输出至零小样本处置器； 其中正向干预包括对多源情报数据样本进行修正与关 键样本筛选； 样本增强生成器用于将干预后的多源情报数据样本进行增强生成， 将增强生成后的数 据样本输出至增量学习器； 增量学习器用于基于回放的增量学习机制， 利用增强生成后的数据样本对深度神经网 络学习器训练的模型进行修 正； 零小样本处置器用于将模型的解释结果与 人为经验知识进行匹配， 实现新事件和新情 况下的零小样本学习， 得到零样本和小样本的识别或分析 结果。 2.根据权利要求1所述的一种基于可解释机制的交互式增量化情报分析系统， 其特征 在于， 人机交 互器对多源情 报数据样本进行正向干预的具体实现过程 为： 以模型解释器的输出解释结果为基础， 借助情报研判人员的经验及对场景的理解， 采 用情报研判人员直接对输入多源情报数据样本进 行筛选与修改的方式， 对关键样本进 行挑 选并对样本标签进行 标注与修改。 3.根据权利要求1所述的一种基于可解释机制的交互式增量化情报分析系统， 其特征 在于， 零小样本处置器的具体实现过程 为： 零小样本处置器依托模型解释器得出的深度神经网络结构中神经元激活状态与高阶 语义的映射关系， 得到零小样本在现有深度神经网络学习器中神经元激活状态向量， 并将 人为经验知识所认知的高级语义转化为表征相应神经元激活状态的向量形式， 计算零小样 本所对应的神经元激活状态向量与人为经验知识所对应的神经元激活状态向量的相似程 度， 按照匹配程度最高的原则得到零小样本的识别或分析 结果。权　利　要　求　书 1/1 页 2 CN 115018472 B 2一种基于可解 释机制的交互式增量化情 报分析系统 技术领域 [0001]本发明属于情报 数据分析服务领域， 特别涉及一种基于可解释机制的交互式增量 化情报分析系统， 用于实现情 报数据分析服 务领域深度学习模型的可解释性和精准 性。 背景技术 [0002]随着人工智能技术在情报数据分析服务领域的不断推进， 现已初步实现了有无人 协同甚至无人化的智能情报生成与应用能力， 在一定程度上提升了各级情报 研判人员的工 作效能。 然而面向未来多模态、 海量化、 高精度、 高时效的情报数据服务需求， 现有情报数据 智能处理受限于智能化认知不足、 专家知识应用不足等问题导致现有情报智能数据分析仍 存在较大缺陷。 因此， 如何提升情报数据分析中所用到智能化方法的可解释性、 可认知性， 并将专家知识更好地融入模型训练， 将现有情报分析系统的盲目、 无效学习模式向透明式 增量化学习模式转变， 是有效提升情报应用系统服务化转型、 信息服务精准分析等能力的 关键环节。 [0003]面向情报 数据分析服务领域， 各级情报研判及指挥决策人员对智能情报分析模型 内部学习过程可认知、 产出结果可溯因以及与机器灵活交互的迫切需求， 需要研究一种基 于可解释机制的交 互式增量 化情报分析系统， 以实现 现有情报分析服 务系统的升级改造 。 发明内容 [0004]本发明的目的在于解决传统情报数据分析系统在专家知识融合、 零小样本处理、 增量化学习等方面的不足， 突破盲目甚至无效学习的瓶颈 问题， 提出一种基于可解释机制 的交互式增量化情报分析系统， 借助可解释及增量学习机制实现人机融合的情报综合判 读、 推理及认知， 保障基于深度学习模型的智能化情 报分析的精准 性、 灵活性。 [0005]为了实现上述目的， 本发明采用的技 术方案如下： [0006]一种基于可解释机制的交互式增量化情报分析系统， 包括深度神经网络学习器、 模型解释器、 人机交 互器、 样本增强生成器、 增量学习器和零小样本处置器； [0007]深度神经网络学习器用于接收多源情报数据样本， 进行包括目标智能监测识别、 文本智能处理、 轨迹融合和轨迹预测功 能用到的深度神经网络模型 的训练， 将训练好的模 型和多源情报数据样本输出至模型解释器； 还用于在模型修正后得到目标智能监测识别、 文本智能处理、 轨迹融合和轨迹预测的处理结果； 其中多源情报数据样本为足量样本或零 小样本； [0008]模型解释器用于对训练好的模型进行透明化和可理解化， 将模型的解释结果输出 至人机交互器和零小样本处置器， 并将多源情报数据样本输出至人机交互器； 其中模型 的 解释结果包 含模型内部结构的解释以及产生结果的溯因； [0009]人机交互器用于在多源情报数据样本为足量样本时借助模型解释器对模型内部 结构的解释以及产生结果的溯因， 依靠人为经验知识对多