(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116270.X (22)申请日 2022.09.14 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 宋霄罡　张鹏飞　宁靖宇　唐俊杰　 庞欣超　崔永新　张冬冬　黑新宏　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 徐瑶 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/194(2017.01) G06V 10/25(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于全卷积神经网络的伪装物体分割 方法 (57)摘要 本发明公开了一种基于全卷积神经网络的 伪装物体分割算法， 具体包括如下步骤： 步骤1， 图像特征提取模块； 步骤2， 构建图像分类模块； 步骤3， 构建基于全卷积神经网络的目标分割模 块； 步骤4， 融合分类模块与目标分割模块的输出 结果。 采用本发明， 通过 实验结果表明， 可以有效 的识别并分割图像中的伪装物体， 丰富了人工智 能和计算机视觉的方法体系， 为伪装物体分割领 域提升分割效果 提供了一种选择。 权利要求书2页 说明书5页 附图3页 CN 115311255 A 2022.11.08 CN 115311255 A 1.一种基于全卷积神经网络的伪装物体分割方法， 其特 征在于， 具体按以下步骤实施： 步骤1， 图像特 征提取； 步骤2， 构建图像分类模块； 步骤3， 构建基于全卷积神经网络的目标分割模块； 步骤4， 融合分类模块与目标分割模块的输出 结果。 2.根据权利要求1所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于， 所述步骤1 中图像特征提取模块采用ResNet ‑50网络结构对输入图像进行特征提取， 具体按 以下步骤实施： 步骤1.1， 第一卷积模块， 对待检测图像进行 卷积处理， 输出第一特 征图； 步骤1.2， 第二卷积模块， 对第一特 征图进行 卷积处理， 输出第二特 征图； 步骤1.3， 第三卷积模块， 对第二特 征图进行 卷积处理， 输出第三特 征图； 步骤1.4， 第四卷积模块， 对第三特 征图进行 卷积处理， 输出第四特 征图； 步骤1.5， 第五卷积模块， 对第四特 征图进行 卷积处理， 输出第五特 征图。 3.根据权利要求1所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于， 所述步骤2中构建图像分类模块按照以下步骤实施： 步骤2.1， 使用两个全连接层， 输出尺寸均为2048， 每个全连接层后均使用一个ReLU激 活函数， 将特 征图处理后得到一个一维向量； 步骤2.2， 图像分类模块采用交叉熵损失作为损失函数。 4.根据权利要求1所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于， 所述步骤3构建基于全卷积神经网络的目标分割模块按照以下步骤实施： 步骤3.1， 将特 征图输入区域建议网络RPN以得到图像中伪装物体的可能定位； 步骤3.2， 将得到的候选 框做分类和回归计算； 步骤3.3， 通过全卷积神经网络将伪装物体 像素级分割。 5.根据权利要求4所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于， 所述步骤3.1将特 征图输入区域建议网络具体按以下步骤实施： 步骤3.1.1， 将步骤2得到的特征图经过一个3x3的卷积， 设经过特征提取后得到的特征 图大小为 N×H×W， 经过卷积将得到一个25 6×H×W的特征图； 步骤3.1.2， 将特征图分别经过两次1x1的卷积操作， 分别得到2 ×H×W和4×H×W， 即两 个分数和四个坐标； 两个分数代表是目标物体还是背景 的得分， 四个坐标代表针对原图坐 标的偏移； 步骤3.1.3， 将得到的坐标映射到原图中的一个区域， 将此区域左上角作为基准锚点， 设每个锚点最多可以预测k个候选框， 锚点在最后输出 的卷积特征图每个像素点上按照 从 上到下， 从左到右的规则进行滑动窗口， 且其位于滑动窗口的中央， 并根据预先设定好的不 同尺度和长 宽比来生成相应的锚框； 步骤3.1.4， RPN网络使用3种尺度(1282， 2562， 5122)和 3种长宽比(1： 1， 1： 2， 2： 1)来生 成锚框， 因此在每个滑动窗口上最大可以生成k＝9个锚框； 假定最后输出的卷积特征图大 小为H×W， 则根据上述规则共 可以生成H×W×k个锚框， 每个像素点最后共有(4 +2)×9向量 输出， 总共(4+2) ×9×H×W个预测结果。 6.根据权利要求4所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 115311255 A 2所述步骤3.2将得到的候选 框做分类和回归计算具体按以下步骤实施： 步骤3.2.1， RPN网络还为每个锚框设定了相应的二进制标签， 当某个锚框与真实标注 框具有最高的重叠率IOU或该锚框与真实标注框的IOU大于0.7则将其标注为目标； 当某个 锚框与所有真实标注框的重叠率小于0.3时， 将其标注 为背景； 重叠率介于0.3与0.7之间的 锚框舍弃； 步骤3.2.2， 生成锚框后， 使用softmax对锚框进行分类， 分类前和分类后分别使用 Reshape对图像大小 进行操作； 步骤3.2.3， 分类结束后， 采用线性回归函数对 锚框坐标进行修 正， 最终生成候选 框； 步骤3.2.4， RPN损失函数定义如公式(1)所示： 式中， i表示某一锚框所对应的索引值， p表示网络预测第 i个锚框是目标物体还是背景 的概率； 若锚框为目标物体， 则对应的真实标注框标签 值为1， 否则为0； t表示锚框的4个 参数化坐标， 分别是锚框的中心点坐标和锚框的宽高， 表示对应的真实标注框的坐标； Lcls表示对数分类损失， Lreg表示边框回归损失， 其关系如公式(2)所示： 7.根据权利要求4所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于， 所述步骤3.3通过全卷积神经网络将伪装物体 像素级分割具体实施步骤如下： 步骤3.3.1， 通过卷积神经网络对特征图下采样， 此处仍然采用ResNet网络结果来进行 卷积， 但是去掉了ResNet的全连接层和池化层； 步骤3.3.2， 经过特征提取后的特征图， 再进行上采样， 恢复图片大小， 然后对每一个像 素softmax， 得到对每一个 像素的预测值， 实现像素级分割。 8.根据权利要求1所述的一种基于全卷积神经网络的伪装物体分割方法， 其特征在于， 所述步骤4融合分类模块与目标分割模块的输出 结果按照以下步骤实施： 步骤4.1， 将分类模块得到的标量与目标分割模块得到的向量相乘， 得到最终的结果； 步骤4.2， 使用F ‑measure来评估结果， 如公式(3)所示： 式中， β 是参数， Precisi on是精确率， Recal l是召回率。权　利　要　求　书 2/2 页 3 CN 115311255 A 3