(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210703633.3 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114780707 A (43)申请公布日 2022.07.22 (73)专利权人 浙江浙里信征信有限公司 地址 310000 浙江省杭州市西湖区文一西 路83号浙江财经大学文华校区综合楼 201室 专利权人 天道金科股份有限公司 (72)发明人 唐嘉成　杨象笋　王江华　 (74)专利代理 机构 杭州信义达专利代理事务所 (普通合伙) 33305 专利代理师 陈继算(51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06F 40/211(2020.01) (56)对比文件 WO 2021184311 A1,2021.09.23 CN 111538819 A,2020.08.14 JP 2020181240 A,2020.1 1.05 US 2022044135 A1,202 2.02.10 审查员 程一峰 (54)发明名称 基于多跳推理联合优化的多跳问题回答方 法 (57)摘要 本发明公开了一种基于多跳推理联合优化 的多跳问题回答方法， 通过构建联合损失函数， 以该联合损失函数去训练表示统一阅读器模型， 使得统一阅读器模型不仅可用于中间跳的答案 推理也可用于最终跳的答案推理， 增加了统一阅 读器模型的通用性， 且不再需要采用单独的损失 函数去训练独立的中间跳推理器和最终跳推理 器， 推理器的训练过程大幅简化， 训练速度得 以 明显提升； 通用的统一阅读器模 型的训练样本包 括每一步中间跳和最终跳的输入输出数据， 考虑 了每个推理步骤产生的数据对最终答案预测的 影响， 使得统一阅读器模型具有更高的答案预测 准确度； 每个中间跳推理步骤基于当前支持事 实， 产生了更准确的问题分解， 使得整个多跳推 理过程更精确、 更稳健。 权利要求书3页 说明书13页 附图3页 CN 114780707 B 2022.11.22 CN 114780707 B 1.一种基于多跳推理联合优化的多跳问题回答方法， 其特 征在于， 步骤 包括： S1， 构建训练统一阅读器模型 的联合损失函数， 所构建的所述联合损失函数通过以 下公式 （1） 表达： 公式 （1） 中， 表示所述联合损失函数； 表示第 跳中间跳中的中间跳推理器采用的二元交叉熵损失函数； 表示最终第 跳中的最终跳推理器采用的二元交叉熵损失函数； 表示推理原 始问题 对应的多跳问题答案 所需的总跳数； 、 分别表示 、 在参与构建所述联合损失函数时的加权超参数； 表示所述最终跳推理器对 所述原始问题 对应的所述多跳问题 答案 在相关上下 文 中的起始位置和结束位置的预测损失； S2， 根据所构建的所述联合损失函数， 并且以每个中间跳得到的子问题 ‑答案对 、 所述原始问题 、 所述相关上下文 以及预设的答案类型为联合训练样本， 联合训练得到表 示所述中间跳推理器或表示所述 最终跳推理器的所述统一阅读器模型 ； S3， 将所述原始问题 、 所述相关上下文 输入到所述统一阅读器模型 中进行中间跳 和最终跳答案推理， 最终输出 所述原始问题 对应的多跳问题答案 和多跳支持句 ； 步骤S3中， 预测所述原始问题 对应的所述多跳问题答案 和所述多跳支持句 的方法 步骤包括： S31， 将原始问题 输入到预先训练的段落排序模型中计算 得到表征每个 候选段落与解 答所述原始问题 具有的相关性的概率得分， 然后选取得分排名前 的所述候选段落以及 排名第一的所述 候选段落链接的跳转段落作为 解答所述原 始问题 的相关上 下文， 记为 ； S32， 将所述原始问题 、 相关上下文 以及前一中间跳得到的子问题 ‑答案对 输入 到以每一跳的输入输出数据为训练样本迭代更新训练的统一阅读器模型 中进行中间跳 答案推理， 输出当前中间跳对应的子问题 ‑答案对 和单跳支持句 ； S33， 以最终跳的前一跳输出的子问题 ‑答案对 、 所述原始问题 、 所述相关上下文 以及预设的答案类型为所述统一阅读 器模型 的输入进 行最终跳的答案推理， 输出所述 原始问题 对应的多跳问题答案 和多跳支持句 。 2.根据权利要求1所述的基于多跳推理联合优化的多跳问题回答方法， 其特征在于， 步 骤S1中， 或 通过以下公式 （2） 表达： 公式 （2） 中， 表示优化第 跳中使用的所述统一阅读器模型 所采用的所述二元交 叉熵损失函数， 时表示当前跳为第 跳中间跳， 时表示当前跳为第 跳最终跳；权　利　要　求　书 1/3 页 2 CN 114780707 B 2表示相关上 下文 中的第 段第 个句子 是否为第 跳支持事实的标签； 表示相关上 下文 中的句子总数。 3.根据权利要求1所述的基于多跳推理联合优化的多跳问题回答方法， 其特征在于， 步 骤S1中， 通过以下公式 （3） 表达： 公式 （3） 中， 、 分别表示最终跳中从所述相关上下文 中提取的标签内容作为所述 原始问题 的多跳问题答案 的答案起始位置、 答案结束位置的最大概 率。 4.根据权利要求1所述的基于多跳推理联合优化的多跳问题回答方法， 其特征在于， 。 5.根据权利要求1所述的基于多跳推理联合优化的多跳问题回答方法， 其特征在于， 所 述统一阅读器模型 在每一步中间跳或最终跳中， 通过以下方法步骤识别当前第 跳的所 述单跳支持句 ： A1， 将输入 的所述原始问题 、 所述相关上下文 和前一跳形成的所述子问题 ‑答案对 形成为如下表达式表达的联接序列： 上述表达式 中， 表示第 跳中输入到单跳支持句识别器的联接序列表征； 表示第 跳； 表示某个候选段落在步骤S1中选 定的相关上 下文 中的分隔符； 表示原始输入的多跳问题； 表示第 跳生成的子问题； 表示解答第 跳生成的子问题得到的答案； 表示候选段落中的第 段中的第 个句子； 表示候选段落中的文本段落数； 表示候选段落中的第 个文本段落中的句子数； A2， 基于每个句子 的特殊标记 的表示， 构建一个 二元分类器来 预测每个句子 是当前第 跳的支持事实的概率 ， 并将 概率值大于 的句子 作为当前第 跳的单 跳支持句， 构成 ； A3， 通过最小化二元交叉熵损失函数， 对所有跳使用的所述统一阅读器模型 进行优 化， 所述二元交叉熵损失函数通过以下公式 （4） 表达： 公式 （4） 中， 表示优化第 跳中使用的所述统一阅读器模型 所采用的所述二 元交 叉熵损失函数； 表示句子 是否为第 跳支持事实的标签；权　利　要　求　书 2/3 页 3 CN 114780707 B 3