(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210622106.X (22)申请日 2022.06.01 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 赵富邦　严祚宇　康杨杨　孙常龙　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 杜叶蕊　许怀远 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 40/126(2020.01) G06F 40/194(2020.01) G06F 40/295(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 实体链接模 型的训练方法、 实体链接的方法 及装置 (57)摘要 本公开提供一种实体链接模 型的训练方法、 实体链接的方法及装置， 包括： 获取训练样本集， 其中， 训练样本集中包括提及样 本数据和实体样 本数据， 提及样本数据包括提及的样本图像和样 本文本， 实体样本数据包括实体的样本图像和样 本文本， 根据自注意力机制确定各样本图像和各 样本文本 各自对应的二分类结果， 并根据各二分 类结果训练得到实体链接模型， 其中， 自注意力 机制用于确定各样本图像、 以及各样本文本之间 的相关性， 实体链接模型用于确定待识别提及对 应的实体， 充分考虑了各模态之间的相关性， 从 而提高各模态融合的可靠性， 且去除了噪音信 息， 避免了噪音信息对训练的干扰， 以基于有效 信息进行训练， 从而提高训练的有效性和可靠 性。 权利要求书2页 说明书13页 附图7页 CN 114896421 A 2022.08.12 CN 114896421 A 1.一种实体链接模型的训练方法， 包括： 获取训练样本集， 其中， 所述训练样本集中包括提及样本数据和实体样本数据， 提及样 本数据包括提及的样本图像和样本文本， 实体样本数据包括与所述提及对应的实体的样本 图像和样本文本； 根据自注意力 机制确定各样本图像和各样本文本各自对应的二分类结果， 并根据 各二 分类结果训练得到实体链接模型， 其中， 所述自注意力机制用于确定各样本图像、 以及各样 本文本之间的相关性， 所述实体链接模型用于确定待识别提及对应的实体。 2.根据权利要求1所述的方法， 其中， 在所述获取训练样本集之后， 所述方法还 包括： 将各样本文本进行融合处 理， 得到融合文本； 以及， 所述根据自注意力机制确定各样本 图像和各样本文本各自对应的二分类结果， 包括： 根据所述自注意力机制确定各样本图像、 各样本文本以及融合文本各自对应的二分 类结果。 3.根据权利要求2所述的方法， 其中， 在所述将各样本文本进行融合处理， 得到融合文 本之后， 所述方法还 包括： 对各样本图像、 各样本文本以及所述融合文本， 分别进行编码处理， 得到各自对应的编 码向量； 以及， 所述根据自注意力机制确定各样本 图像、 各样本文本以及融合文本各自对应的 二分类结果， 包括： 根据所述自注意力机制确定各编码向量各自对应的二分类结果。 4.根据权利要求3所述的方法， 其中， 所述对各样本 图像、 各样本文本以及所述融合文 本， 分别进行编码处 理， 得到各自对应的编码向量， 包括： 根据预设的图像编码器ResNET对各样本图像进行编码处理， 得到各样本图像各自对应 的编码向量； 根据预设的文本编码器BERT对各文本进行编码处理， 得到各文本各自对应的编码向 量， 其中， 各文本包括各样本文本和所述融合文本 。 5.根据权利要求1 ‑4任一项所述的方法， 其中， 所述根据各二分类结果训练得到实体链 接模型， 包括： 根据各二分类结果进行反向传播 求导， 得到所述实体链接模型。 6.一种实体链接的方法， 所述方法应用于知识图谱， 包括： 获取待识别提及； 根据预先训练的实体链接模型， 确定与所述待识别提及对应的实体； 其中， 所述实体链接模型 是基于如权利要求1 ‑5任一项所述的方法训练得到的。 7.根据权利要求6所述的方法， 其中， 在所述获取待识别提及之后， 所述方法还 包括： 从预设知识图谱中获取与所述待识别提及的相似度最大的多个候选实体， 其中， 每一 候选实体具有候选图像和候选文本； 以及， 根据预先训练的实体链接模型， 确定与所述待识别提及对应的实体， 包括： 将所 述待识别提及、 各候选图像以及各候选文本输入至所述实体链接模型， 得到每一候选实体 与所述待识别提及的匹配结果， 并根据各匹配结果从各候选实体中确定与所述待识别提及 对应的实体； 其中， 匹配结果用于表征 所述待识别提及与候选实体之间的相似度。权　利　要　求　书 1/2 页 2 CN 114896421 A 28.根据权利要求6或7所述的方法， 其中， 所述待识别提及是基于搜索请求确定的， 所述 待识别提及对应的实体为与所述搜索请求对应的搜索结果； 其中， 所述搜索请求中包括所述待识别提及； 或者， 所述搜索搜索请求中包括待识别图像和/或待识别文本 。 9.一种实体链接的装置， 所述装置应用于知识图谱， 包括： 第二获取 单元， 用于获取待识别提及； 第二确定单元， 用于根据预先训练的实体链接模型， 确定与所述待识别提及对应的实 体； 其中， 所述实体链接模型 是基于如权利要求1 ‑5任一项所述的方法训练得到的。 10.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述电子设备能够执行权利要求1 ‑5中任一项所述的方法； 或者， 以使所述 电子设备能够执 行权利要求6 ‑8中任一项所述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现权利要求 1‑5中任一项 所述的方法； 或者， 所述计算机程序被处理器执行时实现权利 要求6‑8中任一项所述的方法。 12.一种计算机程序产品， 包括计算机程序， 该计算机程序被处理器执行时实现权利要 求1‑5中任一项所述的方法； 或者， 该计算机程序被处理器执行时实现权利要求6 ‑8中任一 项所述的方法。权　利　要　求　书 2/2 页 3 CN 114896421 A 3