(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210547679.0 (22)申请日 2022.05.18 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 党迎旭　王树良　李燈杰　王奕　 李明　袁汉宁　耿晶　潘新宇　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06V 20/62(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01) G06F 16/36(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习与注意力机制的多源遥感图 像信息处 理方法 (57)摘要 本发明提出一种基于深度学习与注意力机 制的多源遥感图像信息处理方法， 包括： 步骤1， 构建图像描述生成器， 所述图像描述生成器基于 自上而下图像描述模型构建而成； 该自上而下图 像描述模型包括顺序连接的注意力LSTM模型和 语句生成LS TM模型； 步骤2： 采用融入词性特征的 文本图像匹配的POS ‑SCAN模型对图形描述生成 器进行训练， 得到所述图形描述生成器的损失函 数； 步骤3： 将所述图像描 述生成器进行自序列训 练后， 将所述多源遥感图像进行区域特征提取， 并将区域特征提取结果输入所述图像描述生成 器， 得到所述图像对应的文字标签； 步骤4： 将所 述区域特征提取结果、 所述文字标签及候选语句 输入相似性评分模块， 得到相似度评分结果。 权利要求书2页 说明书11页 附图3页 CN 114882488 A 2022.08.09 CN 114882488 A 1.一种基于深度学习与注意力机制的多源遥感图像信息处 理方法， 其特 征在于， 包括： 步骤1， 构建图像描述生成器， 所述图像描述生成器基于自上而下(UP ‑DOWN)图像描述 模型构建而成； 该自上而下(UP ‑DOWN)图像描述模型包括顺序连接的注意力LSTM模型和语句生成LSTM 模型； 步骤2： 采用融入词性特征的文本图像匹配的POS ‑SCAN模型对图形描述生成器进行训 练， 得到所述图形描述 生成器的损失函数； 步骤3： 将所述图像描述生成器进行自序列训练后， 将所述多源遥感图像进行区域特征 提取， 并将区域特 征提取结果输入所述图像描述 生成器， 得到所述图像对应的文字标签； 步骤4： 将所述区域特征提取结果、 所述文字标签及候选语句输入相似性评分模块， 得 到相似度评分结果， 所述相似度评分模块包括： 图像文本对象特征相似性评分， 图像文本对象间关系特征相似性评分和基于共识的图 像描述评估指标评分等 三个部分。 2.根据权利要求1所述的基于深度学习与注意力机制的多源遥感图像信息处理方法， 其特征在于： 所述步骤2具体包括： 所述损失函数包括交叉熵函数和所述图形描述生成器中 所述注意力LSTM模型和所述POS ‑SCAN模型之间的KL散度； 所述KL散度的计算过程具体包 括： 从POS ‑SCAN模型中提取注意权重α _t作为真实分布， 并提取自上而下(UP ‑DOWN)图像描 述模型的注意权 重β _t作为模拟分布， 将β _t拟合α _t时产生的信息损耗即KL散度。 3.根据权利要求1或2所述的基于深度学习与注意力机制的多源遥感图像信息处理方 法， 其特征在于： 所述步骤3包括： 使用Faster  R‑CNN模型提取的图像区域特征， 具体包括： 使用具有注意力机制的区域建议网络(RPN)提取候选建议区域； 随后基于所述候选建议区 域的Faster  R‑CNN模型的检测器识别目标。 4.根据权利要求1 ‑3任意一项所述的基于深度学习与注意力 机制的多源遥感图像信 息 处理方法， 其特征在于： 所述步骤4中图像文本对象特征相似性评分， 其是将图像与文本对 象特征进 行注意力融合， 计算图像文本对象特征相似性评 分， 具体包括： 对输入的图像区域 特征进行编码， 得到图像区域特征 的图像对 象特征； 对文字标签及候选语句中的语句进行 编码， 使用双向门控循环单 元(GRU)模型对标签 语句和候选语句中的单词进行词嵌入操作； 对于每个所述图像对象特征， 计算出每个标签语句中的所有文本对象特征对其的关注 度； 计算出所有标签语句在描述图像中任一对 象特征所提供 的关注信息； 利用双向门控循 环单元(GRU)模型中的融合层将关注信息集合中的信息向量融合为关注文本融合信息； 再 通过一个全连接层将融合关注文本融合信息和 其对应的图像对 象特征融合为对 象融合特 征； 对于描述语句中的每一个文本对象特征， 选取和其相似度最高的融合对象特征来计算 两者的余弦相似性， 将描述语句中的所有文本对象特征与其对应的图像对象特征的余弦相 似性得分的平均值作为图像文本对象特 征相似性评分。 5.根据权利要求1 ‑3任意一项所述的基于深度学习与注意力 机制的多源遥感图像信 息 处理方法， 其特征在于： 所述步骤4中图像文本对象间关系特征相似性评分， 是将图像与文 本对象关系特 征相似性评分作为自临界序列训练中的目标 奖励函数的一部分， 具体包括： 对输入的图像区域特 征进行编码， 得到图像区域特 征的图像对象特 征；权　利　要　求　书 1/2 页 2 CN 114882488 A 2对于图像中的任一图像对象特征， 基于空间结构的图卷积网络(GCN)提取图像中对象 间关系特征； 对所述文字标签及候选语句进行文本对 象关系提取， 其中通过文本图解析器 建立文本对象关系知识图谱； 并建立语义三元组； 利用双向门控循环单元(GRU)模型对每个 语义三元组进行编码， 并计算文本对象间关系特 征； 对于图像对象关系特征， 首先计算出每个标签语句中的所有对象关系特征对其的关注 度； 计算出所有标签语句描述图像中任一对 象关系特征时提供的关注信息； 利用双向门控 循环单元(GRU)模型中的融合层将对象关系特征关注信息集合中的信息向量融合为关注文 本关系融合信息； 通过一个全连接层将关注文本关系融合信息和其对应的图像对象关系特 征融合为对象关系融合特 征； 对于描述语句中的每一个文本对象关系特征， 选取和其相似度最高的对象关系融合特 征来计算两者的余弦相似性； 将描述语句中的所有文本对象关系特征与其对应的图像对象 关系特征的余弦相似性得分的平均值作为图像文本对象间关系特 征相似性评分。 6.根据权利要求1所述的基于深度学习与注意力机制的多源遥感图像信息处理方法， 其特征在于： 所述步骤3具体包括： 将所述图像描述生成器进行自序列训练时， 将每一个标 题采样获取描述语句时， 将剩余样本平均得分的新基线来进行自临界序列训练。权　利　要　求　书 2/2 页 3 CN 114882488 A 3