(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211220843.3 (22)申请日 2022.10.08 (71)申请人 中国舰船研究设计中心 地址 430064 湖北省武汉市武昌区张之洞 路268号 (72)发明人 黄骁　龚俊斌　陶浩　罗威　张科　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 胡建平　张宇 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 20/13(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于方向可变特征的遥感船舶检测与识别 方法 (57)摘要 本发明公开了一种基于方向可变特征的遥 感船舶检测与识别方法， 属于图像处理及模式识 别领域， 包括： 获取待识别目标遥感船舶图像， 以 旋转边界框方式标注船舶， 目标遥感船舶图像与 标注信息组成输入图像； 得到输入图像特征图， 通过候选区域生成网络获得以水平边界框表征 的候选船舶区域； 通过 感兴趣区域变换网络计算 出角度值， 形成以旋转边界框表征的候选区域； 将候选区域与特征图对齐， 获取候选区域的方向 增强特征或者方向归一化特征， 以确定候选区域 所属类别和所处图像位置， 生成检测结果； 采用 非极大抑制过滤掉置信度小的候选区域。 通过利 用船舶的旋转边界框表征方式， 提取和合理利用 船舶方向信息， 实现对船舶的自动、 准确检测和 识别。 权利要求书2页 说明书8页 附图3页 CN 115511853 A 2022.12.23 CN 115511853 A 1.一种基于方向可变特 征的遥感船舶检测与识别方法， 其特 征在于， 包括： S1： 获取待检测识别的目标遥感船舶图像， 从目标遥感船舶图像中划分出船舶目标区 域， 以旋转边界框方式标注船舶， 获得船舶的位置与类别信息， 目标遥感船舶图像与标注信 息共同组成输入图像； S2： 利用残差卷积神经网络和特征金字塔对输入图像进行处理， 形成特征图， 将特征图 输入到候选区域 生成网络， 获得以水平边界框表征的候选船舶区域； S3： 利用感兴趣区域变换网络对水平边界框候选船舶区域进行处理， 计算出水平边界 框候选船舶区域的角度值， 形成以旋转 边界框表征的候选区域； S4： 将旋转边界框候选区域与特征图对齐， 获取旋转边界框候选区域的方向增强特征 或者方向归一化特征， 以确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所 处图像位置， 生成检测结果； S5： 针对检测结果， 采用非极大抑制过滤掉置信度小于预设置信度阈值的旋转边界框 候选区域。 2.根据权利要求1所述的方法， 其特 征在于， 步骤S4包括： 将旋转边界框候选区域与 特征图对齐， 获取旋转边界框候选区域的方向增强特征或者 方向归一化特征， 其中， 旋转边界框候选区域与特征图的对齐方式分为三种， 第一种是不区 分船舶方向， 将船舶方向定义为从船头到船尾或者从船尾到船头， 直接从左往右进 行对齐， 采样形成旋转边界框候选区域的原始特征， 第二种 是区分船舶方向， 同时从两个方向进行 对齐， 即等效于从左往右和从右往左进行对齐， 使用方向可变特征提取模块采样形成旋转 边界框候选区域的方向增强特征， 第三种 是区分船舶方向， 统一按照 从船头到船尾的方向 进行对齐， 使用方向可变特征提取模块采样形成候选区域的方向归一化特征， 其中， 方向可 变特征是指由于对齐方向变化而形成的对旋转 边界框候选区域的不同特 征描述； 利用旋转边界框候选区域的方向增强特征或者方向归一化特征， 基于方向增强特征的 检测识别网络和基于方向归一化特征的检测识别网络， 以确定旋转边界框候选区域所属类 别和确定旋转边界框候选区域所处图像位置， 生成检测结果。 3.根据权利要求2所述的方法， 其特征在于， 利用方向可变特征提取模块实现从左往右 或者从右往左的对齐， 包括： 由 进行变换， 其中， 旋转边界 框候选区域用五元组(xc， yc， w， h， θ )表示， (xc， yc)为旋转边界框的中心点坐标， w为旋转边 界框的宽度， h为旋转边界框的高度， θ为旋转边界框的角度值， (x， y)为在旋转坐标系下， 旋 转边界框中的点的坐标， (x ′， y′)为在垂直坐标系下， 特征图中的点的坐标， τ∈{0， 1}控制 对齐方向， τ ＝0代 表从左往右对齐， 而 τ ＝1代 表从右往左对齐。 4.根据权利要求2或3所述的方法， 其特 征在于， 步骤S5包括： 将所有检测出的旋转 边界框候选区域按照置信度从高到低进行排序； 针对每个排在前面的高置信度候选区域， 计算其与排在后 面的低置信度候选区域的交 并比； 剔除交并比大于设定的阈值的低置信度候选区域。 5.根据权利要求1所述的方法， 其特征在于， 所述方法还包括网络模型的训练阶段， 所权　利　要　求　书 1/2 页 2 CN 115511853 A 2述训练阶段包括： 收集可见光卫星遥感图像， 从图像中划分出船舶目标区域， 以旋转边界框方式标注船 舶， 获得船舶的位置与类别 信息并保存， 图像本身与标注信息共同组成训练图像； 利用残差卷积神经网络和特征金字塔对输入的训练图像进行处理， 形成特征图， 将特 征图输入到候选区域 生成网络， 获得以水平边界框表征的候选船舶区域； 利用感兴趣区域变换网络对水平边界框候选船舶区域进行处理， 计算出水平边界框候 选船舶区域的角度值， 形成以旋转 边界框表征的候选区域； 将旋转边界框候选区域与 特征图对齐， 获取候选区域的方向增强特征或者方向归一化 特征， 其中， 旋转边界框候选区域与特征图的对齐方式分为三种， 第一种是不区分船舶方 向， 将船舶方向定义为从船头到船尾或者从船尾到船头， 直接从左往右进 行对齐， 采样形成 旋转边界框候选区域的原始特征， 第二种是区分船舶方向， 同时从两个方向进 行对齐， 即等 效于从左往右和从右往左进行对齐， 使用方向可变特征提取模块采样形成候选区域的方向 增强特征， 第三种是区分船舶方向， 统一按照从船头到船尾的方向进 行对齐， 使用方向可变 特征提取模块采样形成候选区域的方向归一化特征， 利用旋转边界框候选区域的方向增强 特征或者方向归一化特征， 由基于方向增强特征的检测识别网络和基于方向归一化特征的 检测识别网络确定旋转边界框候选区域所属类别和确定旋转边界框候选区域所处图像位 置， 生成检测结果； 针对检测结果， 采用非极大抑制策略过滤掉置信度小于预设置信度阈值的旋转边界框 候选区域； 针对候选区域生成网络、 感兴趣区域变换网络、 基于方向增强特征的检测识别网络和 基于方向归一 化特征的检测识别网络， 设计相对应的损失函数； 计算各损失函数关于网络权重参数的梯度， 使用梯度下降法沿着负梯度方向更新权重 参数， 使得损失函数 逐渐减小； 计算损失函数值和检测性能评价指标， 若损 失收敛且评价指标达到局部极大值， 则权 重参数的循环更新过程 终止， 完成权重参数的学习， 否则针对新输入的训练图像， 循环更新 权重参数。 6.根据权利要求5所述的方法， 其特征在于， 候选区域生成网络的损失函数由分类误差 和回归误差组成。 7.根据权利要求6所述的方法， 其特征在于， 感兴趣区域变换网络的损失函数由分类误 差和回归误差组成。 8.根据权利要求7所述的方法， 其特征在于， 基于方向增强特征的检测 识别网络的损失 函数由分类误差和回归误差组成， 其中， 分类误差项包含候选区域生成网络损失函数 的分 类误差和感兴趣区域变换网络损失函数的分类误差， 回归误差项包含候选区域生成网络损 失函数的回归误差和感兴趣区域变换网络损失函数的回归误差 。 9.根据权利要求8所述的方法， 其特征在于， 基于方向归一化特征的检测 识别网络由分 类误差、 回归误差和方向误差组成， 其中， 分类误差项包含候选区域生成网络损失函数的分 类误差和感兴趣区域变换网络损失函数的分类误差， 回归误差项包含候选区域生成网络损 失函数的回归误差和感兴趣区域变换网络损失函数的回归误差， 方向误差项度量候选区域 从船头到船尾的方向的预测值与真值之间的差异。权　利　要　求　书 2/2 页 3 CN 115511853 A 3