(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210738354.0 (22)申请日 2022.06.28 (65)同一申请的已公布的文献号 申请公布号 CN 114817576 A (43)申请公布日 2022.07.29 (73)专利权人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 杜军平　王宇晖　邵蓥侠　薛哲　 李昂　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 宋教花 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01)G06F 40/295(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 姚子琪 (54)发明名称 模型训练及专利知识图谱补全 方法、 装置及 存储介质 (57)摘要 本发明提供一种模型训练及专利知识图谱 补全方法、 装置及存储介质， 该方法包括： 获取包 含目标补全类型实体的训练专利文本集合； 识别 并抽取每个训练专利文本中的所有实体， 筛选出 词频超过阈值的识别并抽取到的实体构成候选 实体集合； 将所述训练专利文本集合作为实体训 练数据集， 将所述候选实体集合中的每个实体作 为一个分类标签； 若专利文本与实体为一一对应 关系， 则使用Sigmoid函数来归 一化分类标签， 使 用二元交叉熵作为损失函数， 进行多分类任务训 练以获得专利知识图谱补全模型； 若非一一对应 关系， 则使用Softmax 函数来归 一化分类标签， 交 叉熵作为损失函数， 进行多 标签分类任务训练以 获得专利知识图谱补全模型。 本发明能够准确、 高效的专利知识图谱补全。 权利要求书2页 说明书9页 附图1页 CN 114817576 B 2022.11.18 CN 114817576 B 1.一种专利知识图谱补全 模型训练方法， 其特 征在于， 该 方法包括以下步骤： 获取包含目标补全类型实体的训练专利文本集 合； 依据专利文本与目标补全类型的实体的对应关系， 识别并抽取每个训练专利文本 中的 所有目标补全类型的实体， 筛选出词频超过阈值的识别并抽取到的实体构成候选实体集 合； 将所述训练专利文本集合作为实体训练数据集， 将所述候选实体集合中的每个实体作 为一个分类标签； 若专利文本与目标补全类型的实体为一一对应关系， 则使用Sigmoid函数来归一化分 类标签， 使用二元交叉熵作为损失函数， 进行多分类任务训练以获得专利知识图谱补全模 型； 若专利文本与目标补全类型的实体非一一对应关系， 则使用Softmax函数来归一化分 类标签， 使用交叉熵作为损失函数， 进行多标签分类任务训练以获得专利知识图谱补全模 型。 2.根据权利要求1所述的方法， 其特征在于， 所述专利文本与目标补全类型的实体为一 一对应关系的情况 下， 所述实体的类型包括应用方向实体； 所述专利文本与目标补全类型的实体非一一对应关系的情况下， 所述实体的类型包括 领域实体。 3.根据权利要求1所述的方法， 其特征在于， 在所述专利文本与目标补全类型的实体非 一一对应关系的情况 下， 该方法还包括使用正则表达式和同义词 词表进行同义词融合。 4.根据权利要求1所述的方法， 其特征在于， 该方法还包括使用BERT语言模型对目标补 全类型的实体进 行向量化处理， 对向量化处理后的目标补 全类型的实体使用近邻 传播聚类 方法将相 近的实体聚合为一个聚类实体， 所述聚类实体构成候选实体集合， 使用所述候选 实体集合中的每 个聚类实体作为 一个分类标签， 进行多标签分类任务训练。 5.根据权利要求1所述的方法， 其特征在于， 使用二元交叉熵的损失函数用公式表示 为： ； 其中， 表示训练专利文本集合中训练专利文本的数量， 是候选实体集合中实体类 别的数量， 为专利i对于实体类别j的真值， 如果实体类别 与专利 的类别标签相同， 则值为1， 否则值 为0， 表示专利 被模型预测属于类别 的概率。 6.根据权利要求1所述的方法， 其特 征在于， 使用交叉熵的损失函数用公式表示 为： ； 其中， 表示训练专利文本集合中训练专利文本的数量， 是候选实体集合中实体类 别的数量， 为专利i对于实体类别j的真值， 如果实体类别 与专利 的类别标签相同，权　利　要　求　书 1/2 页 2 CN 114817576 B 2则值为1， 否则值 为0， 表示专利 被模型预测属于类别 的概率。 7.一种专利知识图谱补全方法， 其特 征在于， 该 方法包括以下步骤： 将待补全知识图谱的专利文本 输入到专利知识图谱补全 模型中作为测试 数据； 基于专利知识图谱补全模型中的所有分类标签， 若专利文本与目标补全类型的实体为 一一对应关系， 则使用Sigmoid函数来归一化分类标签， 使用二元交叉熵作为损失函数， 进 行多分类任务以输出专利知识图谱的补全实体； 基于专利知识图谱补全模型中的所有分类标签， 若专利文本与目标补全类型的实体非 一一对应关系， 则使用Softmax函数来归一化分类标签， 使用交叉熵作为损失函数， 进行多 标签分类任务以输出专利知识图谱的补全实体； 所述专利知识图谱补全模型为如权利要求1 ‑6任一项所述专利知识图谱补全模型训练 方法得到的专利知识图谱补全 模型。 8.根据权利要求7所述的方法， 其特征在于， 所述专利文本与目标补全类型的实体为一 一对应关系的情况 下， 所述实体的类型包括应用方向实体； 所述专利文本与目标补全类型的实体非一一对应关系的情况下， 所述实体的类型包括 领域实体。 9.一种专利知识图谱补全装置， 包括处理器和存储器， 其特征在于， 所述存储器中存储 有计算机指令， 所述处理器用于执行所述存储器中存储的计算机指令， 当所述计算机指令 被处理器执行时该装置实现如权利要求1至8中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114817576 B 3