(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211189643.6 (22)申请日 2022.09.28 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 冯跃　徐红　梁淑芬　林卓胜　 袁伟镇　马圆港　李胜可　吴欣　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 冯健良 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/12(2017.01) G06T 7/13(2017.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G16H 50/20(2018.01) G16H 80/00(2018.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种智能中 医望诊方法、 装置、 设备和介质 (57)摘要 本申请实施例提供了一种智能中医望诊方 法、 装置、 设备和介质， 其中方法包括获取望诊视 频， 望诊视频为对人体的多个部位进行拍摄所形 成的视频； 通过图像分割网络对望诊视频的图像 帧进行图像分割， 得到分割图像帧； 通过分拣网 络对分割图像帧进行图像识别得到分割图像帧 的类别， 对分割图像帧进行评分得到分割图像帧 的评分结果， 根据类别和评分结果确定每个类别 的目标图像帧； 根据每个类别的目标图像帧得到 望诊结果； 综合不同类型的目标图像帧得到望诊 结果， 提高望诊准确性。 权利要求书2页 说明书7页 附图2页 CN 115439464 A 2022.12.06 CN 115439464 A 1.一种智能中 医望诊方法， 其特 征在于， 包括： 获取望诊视频， 其中所述望诊视频为对人体的多个部位进行拍摄所 形成的视频； 通过图像分割网络对所述望诊视频的图像帧进行图像分割， 得到分割图像帧； 通过分拣网络对所述分割图像帧进行图像识别得到所述分割图像帧的类别， 对所述分 割图像帧进行评分得到所述分割图像帧的评分结果， 根据所述分割图像帧的类别和所述分 割图像帧的评分结果， 从所述分割图像帧中确定每 个类别的目标图像帧； 根据每个类别的目标图像帧得到 望诊结果。 2.根据权利要求1所述的一种智能中医望诊方法， 其特征在于， 所述图像分割网络基于 Unet结构， 所述图像分割网络包括最大池化层； 在图像分割过程中通过所述最大池化层的 可微池化 函数对所述望诊视频的图像帧进行最大池化。 3.根据权利要求1所述的一种智能中医望诊方法， 其特征在于， 所述图像分割网络包括 级联的多个编码器； 在图像分割过程中， 通过所述编码器的边缘特征提取模块从所述舌头 图像提取边 缘特征信息， 所述 边缘特征信息用于监控和指导 舌头图像的图像分割。 4.根据权利要求3所述的一种智能中医望诊方法， 其特征在于， 所述图像分割网络还包 括级联的多个解码 器， 所述编码 器与所述解码 器一一对应地跳跃连接； 在图像分割过程中， 通过信息过滤模块过滤所述编 码器的层输出信息得到第一特征信息， 并将所述第一特征信 息传递给对应的所述 解码器， 所述第一特 征信息用于提高所述图像分割网络的分割效果。 5.根据权利要求4所述的一种智能中医望诊方法， 其特征在于， 所述解码器设有注意力 模块； 在图像分割过程中， 通过所述注意力模块得到注意力特征， 所述注意力特征用于增强 所述分割图像的特 征表达。 6.根据权利要求5所述的一种智能中医望诊方法， 其特征在于， 所述通过图像分割网络 对所述望诊视频的图像帧进行图像分割， 得到分割图像帧， 包括： 根据所述第一特 征信息和所述注意力特 征， 得到所述分割图像帧。 7.根据权利要求1所述的一种智能中医望诊方法， 其特征在于， 所述分拣网络包括生成 器和判别器； 所述分拣网络按照以下 方法进行训练： 利用带类别信 息的源域数据对所述生成器进行训练， 并通过损失函数对所述生成器的 参数进行调整； 通过所述生成器对目标域数据赋予类别 信息， 得到带类别 信息的目标域数据； 将带类别 信息的源域数据和带类别 信息的目标域数据输入至所述判别器进行判别； 对所述生成器和所述判别器进行对抗训练。 8.一种智能中 医望诊装置， 其特 征在于， 包括： 视频获取模块， 用于获取望诊视频， 其中所述望诊视频为对人体的多个部位进行拍摄 所形成的视频； 图像分割模块， 用于通过图像分割 网络对所述望诊视频的图像帧进行图像分割， 得到 分割图像帧； 图像分拣模块， 通过分拣网络对所述分割图像帧进行图像识别得到所述图像帧的类 别， 对所述图像 帧进行评分得到所述图像 帧的评分结果， 根据所述图像 帧的类别和所述图 像帧的评分结果， 从所述图像帧中确定每 个类别的目标图像帧； 望诊结果输出模块， 用于根据每 个类别的目标图像帧得到 望诊结果。权　利　要　求　书 1/2 页 2 CN 115439464 A 29.一种电子设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所 述的智能中 医望诊方法。 10.一种计算机可读存储介质， 其特征在于， 存储有计算机可执行指令， 所述计算机可 执行指令用于执 行如权利要求1至7中任一项所述的智能中 医望诊方法。权　利　要　求　书 2/2 页 3 CN 115439464 A 3