(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221070946 6.3 (22)申请日 2022.06.21 (71)申请人 携程旅游信息技 术 （上海） 有限公司 地址 201203 上海市浦东 新区张江高科技 园区碧波路518号3 02室 (72)发明人 华倩龄　赵华　鞠剑勋　李健　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 罗朗　林嵩 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06F 40/216(2020.01) G06F 40/242(2020.01)G06F 40/284(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语料定位方法、 意图识别方法及其模 型训练 方法、 装置 (57)摘要 本发明公开了一种语料定位方法、 意图识别 方法及其模型训练方法、 装置、 设备以及介质。 语 料定位方法的训练方法包括： 获取多组训练样 本， 将训练样本中的查询文本和查询文本输入预 训练模型进行特征提取， 得到特征提取结果； 对 训练样本的整体特征、 查询文本包含的各个字的 字特征、 以及查询文本的整体特征进行二次特征 提取， 得到词特征； 将特征提取结果以及词特征 输入机器阅读理解模型； 根据查询本文在语料中 的标注定位信息以及预测定位信息， 计算机器阅 读理解模型的第一计算误差， 并根据第一计算误 差调整机器阅读理解模型的参数， 直至满足收敛 条件， 得到训练好的语料定位模型。 将特征提取 结果以及词特征输入机器阅读理解模 型， 输出更 加准确。 权利要求书4页 说明书11页 附图8页 CN 115033664 A 2022.09.09 CN 115033664 A 1.一种语料定位方法的模型训练方法， 其特征在于， 所述语料定位模型包括级联的预 训练模型和机器阅读理解模型， 所述训练方法包括： 获取多组训练样本， 每组训练样本包括查询文本以及语料集， 所述语料集包含与所述 查询文本对应的至少一个 语料； 对于每组训练样本， 将所述查询文本和所述查询文本输入预先训练的预训练模型进行 特征提取， 得到特征提取结果； 其中， 所述特征提取结果包括所述训练样本的整体特征、 所 述训练样本的整体特征、 所述查询文本包含的各个字的字特征、 所述语料集的整体特征、 所 述语料集包 含的各个字的字特 征； 对所述训练样本的整体特征、 所述查询文本包含的各个字的字特征、 以及所述查询文 本的整体特 征进行二次特 征提取， 得到词特 征； 将所述特征提取结果以及所述词特征输入机器阅读理解模型， 所述机器阅读理解模型 用于输出所述查询本文在所述语料中的预测定位信息； 根据所述查询本文在所述语料中的标注定位信 息以及所述预测定位信 息， 计算所述机 器阅读理解模型的第一计算误差， 并根据所述第一计算误差调整 所述机器阅读理解模型的 参数， 直至满足收敛 条件， 得到训练好的语料定位模型。 2.如权利要求1所述的语料定位方法的模型训练方法， 其特征在于， 所述机器阅读理解 模型用于 输出所述查询本文在所述语料中的预测定位信息的步骤具体包括： 将所述机器阅读理解模型的输出结果经Softmax模型化归为对应于所述查询文本中每 个字的第一 概率； 所述机器阅读理解模型的输出结果的各维度与 预计算结果中每个字的特征所对应； 所 述预测定位信息为所述第一 概率中最高的字的位置 。 3.如权利要求1所述的语料定位方法的模型训练方法， 其特征在于， 所述获取查询文本 与所述查询文本对应的语料集的步骤具体包括以下步骤： 确定所述 查询文本的相似词； 将包含所述查询文本和/或所述相似词的语料， 确定为与所述 查询文本对应的语料。 4.如权利要求1所述的语料定位方法的模型训练方法， 其特征在于， 对所述训练样本的 整体特征、 所述查询文本包含的各个字的字特征、 以及所述查询文本的整体特征进行二次 特征提取， 得到词特 征的步骤具体包括以下步骤： 将所述字特 征输入神经网络， 经 过加权求和的词特 征。 5.一种语料定位方法， 其特 征在于， 包括： 获取查询文本； 将所述查询文本输入语料定位模型， 根据 所述语料定位模型确定所述查询文本在语料 中的定位信息； 其中， 所述语料定位模 型采用权利要求 1‑4中任一项 所述的模型训练方法训 练得到。 6.一种意图识别方法的模型训练方法， 其特 征在于， 所述训练方法包括： 获取多组训练样本， 每组训练样本包括查询文本以及语料集， 所述语料集包含与所述 查询文本对应的至少一个 语料； 对于每组训练样本， 将所述查询文本和所述查询文本输入预先训练的预训练模型进行 特征提取， 得到特征提取结果； 其中， 所述特征提取结果包括所述训练样本的整体特征、 所权　利　要　求　书 1/4 页 2 CN 115033664 A 2述查询文本的整体特征、 所述查询文本包含的各个字的字特征、 所述语料集的整体特征、 所 述语料集包 含的各个字的字特 征； 对所述特 征提取结果进行二次特 征提取， 得到词特 征； 将所述特征提取结果以及所述词特征输入机器阅读理解模型， 所述机器阅读理解模型 用于输出所述查询本文在所述语料中的预测定位信息； 将所述机器阅读理解模型的输出结果化归为对应于所述查询文本中每个字的第一权 重， 将所述第一权 重与所述特 征提取结果加权求和， 得到第一计算结果； 所述机器阅读理解模型的输出结果的各维度与查询文本以及语料集中的每个字所对 应； 将根据所述预测定位信 息截取所述机器阅读理解模型的输出结果中对应的维度， 得到 维度截取 数据； 将语料集中每 个字为所述 查询文本的概 率经过维度映射 为第二权 重； 将所述维度截取 数据与所述第二权 重加权求和， 得到第二计算结果； 依次将所述词特征、 所述第一计算结果以及所述第二计算结果输入意图识别模型， 得 到所述查询文本的意图； 根据所述查询本文在所述语料中的标注定位信 息以及所述预测定位信 息， 计算所述机 器阅读理解模型的第一计算 误差； 获取查询文本的真实意图标签， 计算所述 意图识别模型的第二计算 误差； 根据所述第一计算误差调整所述机器阅读理解模型的参数， 直至满足收敛条件， 得到 训练好的语料定位模型； 根据第二计算误差调整所述意图识别模型的参数， 直至满足收敛条件， 得到训练好的 意图识别模型； 或者， 按照预设比例将所述第 一计算误差以及第 二计算误差求和， 得到第 三计算误差， 根据所述第三计算误差调整所述机器阅读理解模型以及意图识别模型的参数， 得到训练好 的语料定位模型以及意图识别模型。 7.一种意图识别方法， 其特 征在于， 包括： 获取查询文本； 将所述查询文本输入语料定位模型以及意图识别模型， 根据所述语料定位模型以及意 图识别模 型， 确定查询文本的意图； 其中， 所述语料定位模型以及所述意图识别模型采用权 利要求6中的模型训练方法训练得到 。 8.一种语料定位模型的训练装置， 其特征在于， 包括第 一数据获取模块、 第 一预训练模 块、 第一词特 征提取模块、 第一机器阅读理解识别模块、 第一模型训练模块； 所述第一数据获取模块， 用于获取多组训练样本， 每组训练样本包括查询文本以及语 料集， 所述语料集包 含与所述 查询文本对应的至少一个 语料； 所述第一预训练模块， 用于对于每组训练样本， 将所述查询文本和所述查询文本输入 预先训练的预训练模 型进行特征提取， 得到特征提取结果； 其中， 所述特征提取结果包括所 述训练样本的整体特征、 所述查询文本的整体特征、 所述查询文本包含的各个字的字特征、 所述语料集的整体特 征、 所述语料集包 含的各个字的字特 征； 所述第一词特征提取模块， 用于对所述训练样本的整体特征、 所述查询文本包含的各权　利　要　求　书 2/4 页 3 CN 115033664 A 3