(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211178579.1 (22)申请日 2022.09.27 (71)申请人 西北师范大学 地址 730070 甘肃省兰州市安宁区安宁东 路967号 (72)发明人 蔺想红　鲁晗　耿嘉威　王向文　 冯晨晨　 (74)专利代理 机构 兰州智和专利代理事务所 (普通合伙) 62201 专利代理师 张英荷 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于深度卷积脉冲神经网络的肺结核辅助 决策系统 (57)摘要 本发明公开了一种基于深度卷积脉冲神经 网络的肺结核辅助决策系统， 包括建立并训练深 度脉冲卷积神经网络模型， 测试深度脉冲卷积神 经网络模型和使用深度脉冲卷积神经网络模型 三个步骤。 在训练该模型时， 采用基于脉冲时间 依赖可塑性规则的无监督学习和基于奖励调制 脉冲时间依赖可塑性规则的强化学习相结合的 方式实现网络突触权值学习。 将提出的模型应用 于蒙哥马利胸部X光片数据集中进行肺结核诊 断， 验证该模型的分类性能。 同时还分析了模型 的一些重要参数对模型分类性能的影 响。 实验结 果表明， 所提模型能够对输入的胸部X光片准确 分类。 权利要求书2页 说明书8页 附图3页 CN 115482230 A 2022.12.16 CN 115482230 A 1.一种基于深度卷积脉冲神经网络的肺结核辅助决策系统， 其特征在于， 包括以下步 骤： 一、 建立并训练深度脉冲卷积神经网络模型 步骤a1)数据处理： 选取肺结核胸片图像数据， 对数据进行操作并划分出训练集和测试 集的部分； 步骤a2)建立基于LIF(Leaky  Integrate ‑and‑Fire)模型 的深度脉冲卷积神经网络模 型， 深度脉冲卷积神经网络模型包括输入 模块、 学习模块和输出模块； 输入模块用于将输入的肺结核胸片图像转换成脉冲信息； 学习模块通过连续 “卷积‑池化”操作对输入的脉冲信息进行处理， 逐层提取更高层次 的特征表示， 结合STDP(Spike  Timing‑Dependent  Plasticity)和R ‑STDP(Reward ‑ Modulated  STDP)学习规则， 训练深度脉冲卷积神经网络模型并对输入的肺结核胸片图像 进行分类； 学习模块包括至少三个卷积层和池化层， 延信息传递方向分别为卷积层1 ‑池化 层1‑卷积层2‑池化层2‑卷积层3‑池化层3....卷积层n ‑池化层n； 连接到卷积层1至卷积层 n‑1的突触权值采用STDP规则调权值， 连接到卷积层n的突触权值通过R ‑STDP规则和池化层 n反馈的奖励信号或惩罚信号调整权值； 输出模块通过池化层n中的神经元输出分类结果， 池化层n包含两个输出神经元， 分别 表示两种不同的类别信息； 深度脉冲卷积神经网络做出类别信息的决策后， 与输入肺结核 胸片图像的原始标签信息进行比较； 如果决策信息与原始标签信息一致， 说明深度脉冲卷 积神经网络决策正确， 深度脉冲卷积神经网络生成奖励信号； 如果决策信息与原始标签信 息不一致， 说明深度脉冲卷积神经网络决策错误， 深度脉冲卷积神经网络生 成惩罚信号； 奖 励信号和惩罚信号 通过R‑STDP规则调整卷积层n的突触权值的改变量； 步骤a3)训练集数据转化脉冲信息： 将步骤a1)的训练集肺结核图像进行图像预处理， 图像预处理包括图像分割和图像下采样； 采用首脉冲触发时间编码(Time ‑to‑First Spike  Coding)将预处 理后的肺结核图像编码成脉冲信息； 步骤a4)训练深度脉冲卷积神经网络模型： 将编码后的脉冲信息输入到基于深度脉冲 卷积神经网络模型中进行训练； 基于深度 脉冲卷积神经网络模型根据输入的脉冲信 息进行无监督学习： 根据输入脉冲 和LIF神经元模 型计算出卷积层1的输出特征图， 再根据局部最大池化方法映射到池化层1； 同时根据STDP规则更新调整 卷积层1中神经元的突触权值； 将池化层1的输出特征图输入到 卷积层2， 根据输入 脉冲和LIF神经元模 型计算出卷积层2的输出特征图， 再根据局部最大池 化方法映射到池化层2， 计算池化层2的输出； 同时根据STDP规则更新调整 卷积层2中神经元 的突触权值； 使用训练集数据重复计算过程， 直至计算得到池化层n ‑1的输出， 即无监督学 习过程完成； 基于深度脉冲卷积神经网络根据无监督学习过程中最终输出的特征图进行下一阶段 的强化学习： 卷积层n根据池化层n ‑1的输入的信息和LIF模 型计算出输出特征图， 再根据全 局最大池化方法计算出基于深度脉冲卷积神经网络模型的决策信息； 使用训练集数据计算 过程， 直至迭代完成， 即强化学习过程完成； 步骤a5)深度脉冲卷积神经网络模型训练达到最大迭代次数后学习结束， 保存训练后 的深度脉冲卷积神经网络模型的权值 参数；权　利　要　求　书 1/2 页 2 CN 115482230 A 2二、 测试深度脉冲卷积神经网络模型 步骤b1)： 输入步骤a1)划分的测试集， 将输入的肺结核胸片图像转换成脉冲信息； 步骤b2)将步骤b1)的脉冲信息输入步骤a5)训练得到的深度脉冲卷积神经网络模型中 进行测试， 通过运算对测试 的样本进行决策分类获得决策信息， 并将决策信息与测试集原 始标签信息进行比较， 获得决策正确的比例； 若 决策正确比例大于期望值说明深度脉冲卷 积神经网络模型可以使用， 若决策正确比例小于期 望值则重新训练深度脉冲卷积神经网络 模型， 直至决策正确比例大于期望值； 三、 使用深度脉冲卷积神经网络模型 步骤c1)选取需要确定的患者肺结核胸片图像， 将图像转换成脉冲信息； 步骤c2)将脉冲信息输入到步骤b2)测试完成的深度脉冲卷积神经网络模型中， 进行疾 病图像的诊断分类； 步骤c3)输出决策信息， 代表了输入肺结核图像所属病历是否患有肺结核疾病的判别 信息。 2.根据权利要求1所述的基于深度卷积脉冲神经网络的肺结核辅助决策系统， 其特征 在于， 所述步骤a1)中通过首脉冲触发时间编码(Time ‑to‑First Spike Coding)将输入的 肺结核胸片图像信息转换成脉冲信息 。 3.根据权利要求1所述的基于深度卷积脉冲神经网络的肺结核辅助决策系统， 其特征 在于， 深度脉冲卷积神经网络模型的卷积层 包含了由LIF神经元构成的二 维网格， 并构成了 特征图。权　利　要　求　书 2/2 页 3 CN 115482230 A 3