(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211214662.X (22)申请日 2022.09.30 (71)申请人 杭州堃博生物科技有限公司 地址 310051 浙江省杭州市滨江区西兴街 道江陵路8 8号8幢8楼801室 (72)发明人 陈日清　李楠宇　楚琴　余坤璋　 徐宏　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 张文华 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/28(2022.01)G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 识别器官图像中纤维结构的方法及装置、 系 统 (57)摘要 本申请公开了一种识别器官图像中纤维结 构的方法及装置、 系统。 其中， 该方法包括： 获取 目标器官中目标区域的图像， 其中， 该图像是通 过共聚焦显微内镜采集到的； 对图像进行特征提 取， 得到图像对应的纤维结构 的特征图； 采用注 意力网络对纤维结构的特征图进行处理， 得到纤 维结构的特征图对应的注意力特征图， 其中， 注 意力特征图用于标识纤维结构中的目标纤维结 构； 将注意力特征图和图像进行叠加处理， 得到 图像对应的注 意力分布热力图； 根据注意力分布 热力图识别图像中的纤维结构的类型。 本申请解 决了目前检测体内病灶的方法较为复杂， 需要耗 费大量的时间， 无法对病变结构进行实时观察的 技术问题。 权利要求书3页 说明书15页 附图6页 CN 115511849 A 2022.12.23 CN 115511849 A 1.一种识别器官图像中纤维结构的方法， 其特 征在于， 包括： 获取目标器官中目标区域的图像， 其中， 所述图像是通过共聚焦显微内镜采集到的； 对所述图像进行 特征提取， 得到所述图像对应的纤维结构的特 征图； 采用注意力网络对所述纤维结构的特征图进行处理， 得到所述纤维结构的特征图对应 的注意力特 征图， 其中， 所述注意力特 征图用于标识所述纤维结构中的目标纤维结构； 将所述注意力特征图和所述图像进行叠加处理， 得到所述图像对应的注意力分布热力 图； 根据所述注意力分布热力图识别所述图像中的纤维结构的类型。 2.根据权利要求1所述的方法， 其特征在于， 采用注意力网络对所述纤维结构的特征图 进行处理， 得到所述纤维结构的特 征图对应的注意力特 征图， 包括： 将所述纤维结构的特征图分别输入至所述注意力网络中的第一类卷积层和第二类卷 积层， 得到第一类输出结果和 第二类输出结果， 其中， 所述第一类输出结果和所述第二类输 出结果均为矩阵； 对所述第一类输出结果和所述第 二类输出结果做矩阵乘法， 得到所述纤维结构的特征 图对应的注意力特 征图。 3.根据权利要求2所述的方法， 其特征在于， 对所述第 一类输出结果和所述第 二类输出 结果做矩阵乘法， 得到所述纤维结构的特 征图对应的注意力特 征图， 包括： 对所述第 一类输出结果进行归一化处理， 得到注意力权重， 其中， 所述注意力 权重为所 述纤维结构的特 征图中各个 像素点的重要程度； 对所述注意力 权重和所述第 二类输出结果做矩阵乘法， 得到所述纤维结构的特征图对 应的注意力特 征图。 4.根据权利要求1所述的方法， 其特征在于， 采用注意力网络对所述纤维结构的特征图 进行处理， 得到所述纤维结构的特 征图对应的注意力特 征图， 还包括： 将所述纤维结构的特 征图分别输入三个卷积层； 将所述三个卷积层中的第一卷积层对应的第一输出结果与第二卷积层对应的第二输 出结果做矩阵乘法， 得到第一计算结果； 对所述第 一计算结果进行归一化处理， 得到注意力权重， 其中， 所述注意力权重为所述 纤维结构的特 征图中各个 像素点的重要程度； 将所述三个卷积层中的第三卷积层对应的第三输出结果与所述注意力权重做矩阵乘 法， 得到所述纤维结构的特征图对应的注意力特征图， 其中， 所述第一输出结果、 所述第二 输出结果及所述第三输出 结果均为矩阵。 5.根据权利要求1所述的方法， 其特征在于， 采用注意力网络对所述纤维结构的特征图 进行处理， 得到所述纤维结构的特 征图对应的注意力特 征图， 还包括： 将所述纤维结构的特 征图分别输入至少四个卷积层； 将所述至少四个卷积层中的第一卷积层对应的第一输出结果与第二卷积层对应的第 二输出结果做矩阵乘法， 得到第n ‑2计算结果， 其中， n为大于等于3， 且小于N的整数， N为所 述至少四个卷积层包括的卷积层的数量； 将所述至少四个卷积层中的第n卷积层对应的第n输出结果与所述第 n‑2计算结果做矩 阵乘法， 得到第n ‑1计算结果；权　利　要　求　书 1/3 页 2 CN 115511849 A 2对所述第n ‑1计算结果进行归一化处理， 得到注意力权重， 其中， 所述注意力权重为所 述纤维结构的特 征图中各个 像素点的重要程度； 将所述至少四个卷积层中的第N卷积层对应的第N输出结果与所述注意力权重做矩阵 乘法， 得到所述纤维结构的特征图对应的注意力特征图， 其中， 所述第一输出结果、 所述第 二输出结果、 所述第n输出 结果及所述第N输出 结果均为矩阵。 6.根据权利要求1所述的方法， 其特征在于， 将所述注意力特征图和所述图像进行叠加 处理， 得到所述图像对应的注意力分布热力图， 包括： 对所述注意力特征图进行上采样处理， 得到上采样之后的目标注意力特征图， 其中， 所 述目标注意力特 征图的尺寸与所述目标区域的图像的尺寸相同； 将所述目标注意力特 征图和所述图像进行叠加， 得到所述注意力分布热力图。 7.根据权利要求1所述的方法， 其特征在于， 根据 所述注意力分布热力图识别所述图像 中的纤维结构的类型， 包括： 分别将所述注意力分布热力图中各个 像素点的像素值与预设阈值进行比较； 将所述像素值大于所述预设阈值的像素点构成的区域确定为第一区域； 确定所述第一区域的标识信息， 其中， 所述标识信息包括： 所述第一区域的面积、 所述 第一区域的数量以及所述第一区域在所述注意力分布热力图中的分布情况； 依据所述第一区域的标识信息识别所述图像中的纤维结构的类型。 8.根据权利要求7所述的方法， 其特征在于， 依据 所述第一区域的标识信 息识别所述图 像中的纤维结构的类型， 包括： 如果所述第一区域的标识信息满足预设条件， 确定所述图像中的所述纤维结构完整， 其中， 所述预设条件包括下述至少之一： 所述第一区域的面积大于预设面积、 所述第一区域 的数量大于预设数量、 所述第一区域在所述注意力分布热力图中分布情况为均匀分布。 9.一种器官图像的处 理方法， 其特 征在于， 包括： 获取目标器官中目标区域的图像， 其中， 所述图像是通过共聚焦显微内镜采集到的； 对所述图像进行 特征提取， 得到所述图像对应的纤维结构的特 征图； 采用注意力网络对所述纤维结构的特征图进行处理， 得到所述纤维结构的特征图对应 的注意力特 征图， 其中， 所述注意力特 征图用于标识所述纤维结构中的目标纤维结构； 将所述注意力特征图和所述图像进行叠加处理， 得到所述图像对应的注意力分布热力 图； 展示所述注意力分布热力图。 10.一种识别器官图像中纤维结构的装置， 其特 征在于， 包括： 获取模块， 用于获取目标器官中目标区域的图像， 其中， 所述图像是通过共聚焦显微内 镜采集到的； 提取模块， 用于对所述图像进行 特征提取， 得到所述图像对应的纤维结构的特 征图； 第一处理模块， 用于采用注意力网络对所述纤维结构的特征图进行处理， 得到所述纤 维结构的特征图对应的注意力特征图， 其中， 所述注意力特征图用于标识所述纤维结构 中 的目标纤维结构； 第二处理模块， 用于将所述注意力特征图和所述图像进行叠加 处理， 得到所述图像对 应的注意力分布热力图；权　利　要　求　书 2/3 页 3 CN 115511849 A 3