(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211360260.0 (22)申请日 2022.11.02 (71)申请人 杭州华得森生物技 术有限公司 地址 310000 浙江省杭州市滨江区江陵路 88号4幢3楼 (72)发明人 张开山　李超　田华　高阳　于杰　 郑红平　刘艳省　赵丹　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G01N 15/10(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于多源数据融合的肿瘤细胞检测设备及 其方法 (57)摘要 公开了一种基于多源数据融合的肿瘤细胞 检测设备及其方法， 其通过基于转换器的上下文 编码器对待检测血液样本的多个检测指标进行 基于长距离依赖的全局语义编码； 然后， 对于各 个检测指标的全局语义特征信息组成的特征矩 阵， 通过基于不同感受野的包含第一卷积神经网 络和第二卷积神经网络的双流网络模型提取不 同数量的检测指标数据项之间的高维隐含关联 特征， 以此来进行血液样本中的CTC细胞检测。 这 样， 可以基于多源数据融合提高对于血液样本中 的CTC检测的准确性和可靠性。 权利要求书4页 说明书13页 附图6页 CN 115406815 A 2022.11.29 CN 115406815 A 1.一种基于多源数据融合的肿瘤 细胞检测设备， 其特 征在于， 包括： 检测指标采集模块， 用于获取待检测血液样本的多个检测指标， 所述多个检测指标， 包 括： 电学性质 、 热性质、 光学特性、 辐射特性、 化学特性、 物理特性、 生物学特性、 声学特性和 机械性质； 指标内上下文编码模块， 用于通过基于转换器的上下文编码器， 从所述电学性质、 所述 热性质、 所述光学特性、 所述辐射特性、 所述化学特性、 所述物理特性、 所述生物学特性、 所 述声学特性和所述机械性质得到全局电学性质特征向量、 全局热性质特征向量、 全局 光学 特性特征向量、 全局辐射特性特征向量、 全局 化学特性特征向量、 全局物理特性特征向量、 全局生物学 特性特征向量、 全局声学 特性特征向量和全局机 械性质特 征向量； 指标特征结构化模块， 用于将所述全局电学性质特征向量、 所述全局热性质特征向量、 所述全局光学特性特征向量、 所述全局辐射特性特征向量、 所述全局化学特性特征向量、 所 述全局物理特性特征向量、 所述全局 生物学特性特征向量、 所述全局声学特性特征向量和 所述全局机 械性质特 征向量二维排列为检测指标 特征矩阵； 指标间关联编码模块， 用于将所述检测指标特征矩阵通过包含第 一卷积神经网络和第 二卷积神经网络的双流网络模型以得到第一尺度特征向量和第二尺度特征向量， 其中， 所 述第一卷积神经网络使用具有第一尺寸的第一卷积核， 所述第二卷积神经网络使用具有第 二尺寸的第二卷积核， 所述第一尺寸 不同于所述第二尺寸； 特征优化模块， 用于分别对所述第 一尺度特征向量和第 二尺度特征向量进行特征表达 优化以得到优化后第一尺度特 征向量和优化后第二尺度特 征向量； 融合模块， 用于 融合所述优化后第 一尺度特征向量和所述优化后第 二尺度特征向量以 得到分类特 征向量； 以及 检测结果生成模块， 用于将所述分类特征向量通过分类器以得到分类结果， 所述分类 结果用于表示待检测血 液样本中是否含有CTC细胞。 2.根据权利要求1所述的基于多源数据融合的肿瘤细胞检测设备， 其特征在于， 所述指 标内上下文编码模块， 包括： 全局语义编码单元， 用于使用所述基于转换器的上下文编码器对所述电学性质、 所述 热性质、 所述光学特性、 所述辐射特性、 所述化学特性、 所述物理特性、 所述生物学特性、 所 述声学特性和所述机械性质进行基于全局的上下文语义编码以得到多个电学性质特征向 量、 多个热性质特征向量、 多个光学特性特征向量、 多个辐射特性特征向量、 多个化学特性 特征向量、 多个物理特性特征向量、 多个生物学特性特征向量、 多个声 学特性特征向量和多 个机械性质特 征向量； 以及 级联单元， 用于将所述多个电学性质特征向量进行级联以得到全局电学性质特征向 量， 将所述多个热性质特征向量进行级联以得到全局热性质特征向量， 将所述多个光学特 性特征向量进 行级联以得到全局光学特性特征向量， 将所述多个辐射特性特征向量进 行级 联以得到全局辐射特性特征向量， 将所述多个化学特性特征向量进行级联以得到全局化学 特性特征向量， 将所述多个物理特性特征向量进行级联以得到全局物理特性特征向量， 将 所述多个生物学特性特征向量进 行级联以得到全局生物学特性特征向量， 将所述多个声 学 特性特征向量进行级联以得到全局声学特性特征向量， 以及， 将所述多个机械性质特征向 量进行级联以得到全局机 械性质特 征向量。权　利　要　求　书 1/4 页 2 CN 115406815 A 23.根据权利要求2所述的基于多源数据融合的肿瘤细胞检测设备， 其特征在于， 所述指 标间关联编码模块， 包括： 第一尺度 卷积编码单元， 用于使用所述第 一卷积神经网络的各层在层的正向传递中分 别对输入数据进 行基于所述第一卷积核的卷积处理、 池化处理和非线性激活处理以由所述 第一卷积神经网络的最后一层输出 所述第一尺度特 征向量； 以及 第二尺度 卷积编码单元， 用于使用所述第 二卷积神经网络的各层在层的正向传递中分 别对输入数据进 行基于所述第二卷积核的卷积处理、 池化处理和非线性激活处理以由所述 第二卷积神经网络的最后一层输出 所述第二尺度特 征向量。 4.根据权利要求3所述的基于多源数据融合的肿瘤细胞检测设备， 其特征在于， 所述特 征优化模块， 包括： 第一优化单元， 用于以如下公式对所述第 一尺度特征向量进行特征表达优化以得到所 述优化后第一尺度特 征向量； 其中， 所述公式为： 其中 表示所述第一尺度特征向量中各个位置的特征值， 和 分别表示所述第一 尺度特征向量中各个位置的特征值集合的均值和方差， 表示非线性修正单元激活 函数， 表示Sigmoid激活函数， 表示计算以所述方差的负值为幂的 自然指数函数值。 5.根据权利要求4所述的基于多源数据融合的肿瘤细胞检测设备， 其特征在于， 所述特 征优化模块， 包括： 第二优化单元， 用于以如下公式对所述第 二尺度特征向量进行特征表达优化以得到所 述优化后第二尺度特 征向量； 其中， 所述公式为： 其中 表示所述第二尺度特征向量中各个位置的特征值， 和 分别表示所述第 二尺度特征向量中各个位置的特征值集合的均值和方差， 表示非线性修正单元激 活函数， 表示Sigmoid激活函数， 表示计算以所述方差的负值为幂 的自然指数函数值。 6.根据权利要求5所述的基于多源数据融合的肿瘤细胞检测设备， 其特征在于， 所述融 合模块， 进一步用于： 以如下公式融合所述优化后第一尺度特征向量和所述优化后第二尺 度特征向量以得到所述分类特 征向量； 其中， 所述公式为： 权　利　要　求　书 2/4 页 3 CN 115406815 A 3