(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211324111.9 (22)申请日 2022.10.27 (66)本国优先权数据 202210072782.4 202 2.01.21 CN (71)申请人 佛山科学技术学院 地址 528000 广东省佛山市江湾一路18号 (72)发明人 张泓凯　黄燕平　张芹芹　蓝公仆　 许景江　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 梁嘉朗 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种眼底视网膜OCTA图像融合方法及系统 (57)摘要 本发明公开了一种眼底视网膜OCTA图像融 合方法及系统， 包括以下步骤： 采集眼底视网膜 OCTA图像数据， 对同一只眼睛同一区域采集10组 数据， 然后对 图像进行预处理， 利用预处理后的 图像数据， 构建深度学习的训练数据集； 搭建深 度卷积神经网络模型， 对深度卷积神经网络模型 进行训练； 构建混合损失函数， 通过所述混合损 失函数对OCTA图像的小血管进行提取， 利用混合 损失函数计算小血管图像的多尺度结构相似性 和平均绝对误差L1来训练深度卷积神经网络， 获 得网络模型参数； 利用训练后的深度卷积神经网 络模型对测试集图像进行预测， 网络输出即为融 合后的高质量图像。 本发明通过深度卷积网络来 对图像进行融合， 图像处 理质量好。 权利要求书2页 说明书4页 附图2页 CN 115471436 A 2022.12.13 CN 115471436 A 1.一种眼底视网膜OCTA图像融合方法， 其特 征在于， 包括以下步骤： 步骤1， 采集眼底视网膜OCTA图像数据， 对同一只眼睛同一区域采集10组数据， 然后对 图像进行预处理， 包括： 图像直方图匹配、 运动伪影的检测以及样条分离、 样条图像配准、 样 条图像拼接融合； 利用预处 理后的图像数据， 构建深度学习的训练数据集； 步骤2， 搭建深度卷积神经网络模型， 对深度卷积神经网络模型进行训练； 步骤3， 构建混合损失函数， 通过所述混合损失函数对OCTA图像的小血管进行提取， 利 用混合损失函数计算小血管图像的多尺度结构相似性和平均绝对误差L1来训练深度卷积 神经网络， 获得网络模型参数； 步骤4， 利用训练后的深度 卷积神经网络模型对测试集图像进行预测， 网络输出即为融 合后的高质量图像。 2.如权利要求1所述的一种眼底视网膜OCTA图像融合方法， 其特征在于， 所述步骤1中 运动伪影的检测以及样条分离的具体步骤如下： 首先计算图像中每一列的像素的平均值以 及全图所有像素的平均值， 其中均值大于1.5倍得到全图像素平均值的列被认为是运动伪 影， 根据检测出的运动伪影的位置， 将对应得到图像分成多个没有运动伪影的样条图像。 3.如权利要求1所述的一种眼底视网膜OCTA图像融合方法， 其特征在于， 所述步骤1中 样条图像配准的具体步骤如下： 获得10张图像的样条图像后， 通过基于相位相关的配准算 法对大血管进行粗配准， 再通过基于非刚性配准 算法对小血 管进行细配准。 4.如权利要求1所述的一种眼底视网膜OCTA图像融合方法， 其特征在于， 所述步骤1中 样条图像拼接融合的具体步骤如下： 将配准后的样条图像按照重叠区域大小来进行融合， 采用的融合 算法是小 波融合算法。 5.如权利要求1所述的一种眼底视网膜OCTA图像融合方法， 其特征在于， 所述步骤1中 构建深度学习的训练数据集的具体步骤如下： 将预 处理后多张融合的图像作为训练的标签 图像， 该数据集中包 含成对的单张图像和标签图像。 6.如权利 要求1所述的一种眼底视 网膜OCTA图像融合方法， 其特征在于， 所述步骤2中， 搭建深度卷积神经网络模型具体为： 以步骤1生成的训练数据集中的成对的单张图像和标 签图像作为输入， 构建一个深度卷积神经网络模型， 该深度卷积神经网络采用17层的网络 结构， 分为三个部分： 第一部分是由一个卷积层和激活函数组成， 第二部分是 由卷积层、 批 量归一化和激活函数组成， 第三部分是一个卷积层。 7.如权利要求1所述的一种眼底视网膜OCTA图像融合方法， 其特征在于， 所述步骤3中 构建混合损失函数， 具体包括： 构建多尺度结构相似性MS ‑SSIM为： 其中 是区域中间像素值； 构建L1损失函数为： 其中p是像素值， x(p)是 预测图像的像素值， y(p)是 标签图像的像素值； 构建优化目标函数， 该优化目标函数为混合损失函数：权　利　要　求　书 1/2 页 2 CN 115471436 A 2其中α 是权 重系数， 是计算MS ‑SSIM中的第M个尺度的高斯核； 利用反向传播算法， 求解目标函数关于系数的偏导数， 同时对深度卷积神经网络各层 参数利用随机梯度下降进行参数 更新学习。 8.一种眼底视网膜OCTA图像融合系统， 其特 征在于， 包括： 图像采集和预处理模块， 用于采集眼底视网膜OCTA图像数据， 对同一只眼睛同一区域 采集10组数据， 然后对图像进行 预处理； 深度卷积神经网络模型构建模块， 用于搭建深度卷积神经网络模型， 对深度卷积神经 网络模型进行训练； 混合损失函数构建模块， 用于构建混合损失函数， 通过所述混合损失函数对OCTA图像 的小血管进行提取， 利用混合损失函数计算小血管图像的多尺度结构相似性和平均绝对误 差L1来训练深度卷积神经网络， 获得网络模型参数； 图像融合模块， 用于利用训练后的深度卷积神经网络模型对测试集图像进行预测， 网 络输出即为融合后的高质量图像。权　利　要　求　书 2/2 页 3 CN 115471436 A 3