(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211114533.3 (22)申请日 2022.09.14 (71)申请人 浙江华诺康科技有限公司 地址 310051 浙江省杭州市滨江区浦沿街 道信诚路857号悦江商业中心3 6006号 (72)发明人 周奇明　杜立辉　 (74)专利代理 机构 杭州华进联浙知识产权代理 有限公司 3 3250 专利代理师 贺才杰 (51)Int.Cl. G06T 7/00(2017.01) G06N 20/00(2019.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 鼻咽喉镜监测方法、 装置、 系统、 计算机设备 和存储介质 (57)摘要 本申请涉及一种鼻咽喉镜监测方法、 装置、 系统、 计算机设备和存储介质质。 所述方法包括： 获取鼻咽喉镜的采集图像； 分别将采集图像输入 预先训练的图像检索模型和关键点检测模型， 经 图像检索模 型输出采集图像对应的监测部位， 经 关键点检测模 型输出采集图像中的关键点位； 对 关键点位与监测部位对应的关键目标点位进行 特征对比， 并基于特征比对的结果确定采集图像 是否符合目标要求。 采用本方法能够实时监控内 镜操作并对镜头拍摄的 图像进行分析， 自动识别 当前部位和关键点位， 规范采图部位及范围， 自 动抓取合格图像作为 最终报告图像 。 权利要求书2页 说明书9页 附图4页 CN 115526842 A 2022.12.27 CN 115526842 A 1.一种鼻咽喉镜监测方法， 其特 征在于， 所述方法包括： 获取鼻咽喉镜的采集图像； 分别将所述采集图像输入预先训练 的图像检索模型和关键点检测模型， 经所述图像检 索模型输出所述采集图像对应的监测部位， 经所述关键点检测模型输出所述采集图像中的 关键点位； 对所述关键点位与 所述监测部位对应的关键目标点位进行特征对比， 并基于所述特征 比对的结果确定所述采集图像是否符合目标要求。 2.根据权利要求1所述的方法， 其特征在于， 所述图像检索模型与所述关键点检测模型 的训练过程包括以下步骤： 获取鼻咽喉镜的训练图像， 所述训练图像标记有部位类别、 关键点信息； 对标记有所述部位类别的所述训练图像进行机器学习， 得到所述图像 检索模型； 对标记有所述关键点信息的所述训练图像进行机器学习， 得到所述关键点检测模型。 3.根据权利要求2所述的方法， 其特征在于， 所述基于标记有所述部位类别的所述训练 图像进行部位识别训练， 得到所述图像 检索模型包括： 构建所述图像 检索模型， 所述图像 检索模型中设有检索训练参数与图像特 征底库； 分别将所述训练图像输入至所述图像检索模型， 与所述图像特征底库进行匹配， 生成 检索预测结果； 基于所述检索预测结果与对应所述部位类别之间的差异， 对所述检索训练参数进行迭 代调整， 直至 差异满足预设要求。 4.根据权利要求2所述的方法， 其特征在于， 所述基于标记有所述关键点信 息的所述训 练图像进行关键点检测训练， 得到所述关键点检测模型包括： 构建所述关键点检测模型， 所述关键点检测模型中设置有检测训练参数； 分别将所述训练图像输入至所述关键点检测模型中， 生成检测预测结果； 基于所述检测预测结果和对应所述关键点信 息之间的差异， 对所述检测训练参数进行 迭代调整， 直至 差异满足预设要求。 5.根据权利要求1至4任意一项所述的方法， 其特征在于， 所述对所述关键点位与所述 监测部位对应的关键目标点位进 行特征对比， 并基于所述特征比对的结果确定所述采集图 像是否符合目标要求包括： 将所述关键点位的特征与所述监测部位对应的所述关键目标点位的合格阈值进行比 对， 验证所述采集图像是否符合目标要求， 若不符合， 则提醒 所述采集图像异常； 其中， 所述 合格阈值设有 多个合格档位， 不同的所述 合格档位对应不同监测要求。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 实时显示所述采集图像、 所述采集图像对应的所述监测部位与所述关键点位、 所述采 集图像对应的验证结果、 以及所述结果报告的实时情况。 7.一种鼻咽喉镜监测装置， 其特 征在于， 所述装置包括： 获取模块， 用于实时获取 鼻咽喉镜的采集图像； 检测模块， 用于分别将所述采集图像输入预先训练的图像检索模型和关键点检测模 型， 经所述图像检索模型输出所述采集图像对应的监测部位， 经所述关键点检测模型输出 所述采集图像中的关键点 位；权　利　要　求　书 1/2 页 2 CN 115526842 A 2特征比对模块， 用于对所述关键点位与 所述监测部位对应的关键目标点位进行特征对 比， 并基于所述特 征比对的结果确定所述采集图像是否符合目标要求。 8.一种鼻咽喉镜监测系统， 其特征在于， 所述系统包括： 鼻咽喉镜、 服务器、 服务控制 器、 原图显示器、 输出显示器， 所述原图显示器与所述鼻咽喉镜信号连接， 所述鼻咽喉镜与 所述服务器信号连接， 所述 服务器经所述服务控制器与所述输出显示器信号连接； 所述服务器用于获取鼻咽喉镜的采集图像， 并分别将所述采集图像输入预先训练的图 像检索模型和关键点检测模型， 经所述图像检索模型输出所述采集图像对应的监测部位， 经所述关键点检测模型输出所述采集图像中的关键点位， 以及 对所述关键点位与所述监测 部位对应的关键目标点位进行特征对比， 并基于所述特征比对的结果确定所述采集图像是 否符合目标要求； 所述原图显示器用于显示所述采集图像， 所述输出显示器用于显示基于所述采集图像 得到的监测结果， 所述监测结果至少包括所述监测部位、 所述关键点位以及所述特征比对 的结果。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115526842 A 3