(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210442704.9 (22)申请日 2022.04.25 (71)申请人 平安普惠企业管理有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 徐寅磊　 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉　石良武 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多轮对话的标签有效性管理方法、 装 置、 设备及 介质 (57)摘要 本申请涉及人工智能技术领域， 揭示了一种 基于多轮对话的标签有效性管理方法、 装置、 设 备及介质， 其中方法包括： 获取待评估标签和历 史多轮对话文本库， 其中， 所述待评估标签是话 术标签库中的标签； 从所述历史多轮对话文本库 中获取单轮对话文本， 以形成命中单轮对话文 本， 其中， 所述命中单轮对话文本的问句文本中 包含所述待评估 标签； 根据各个所述命中单轮对 话文本， 对所述待评估标签进行有效响应率计 算； 判断所述有效响应率是否大于预设的响应率 阈值； 若是， 则确定所述待评估标签对应的有效 性评估结果为有效； 若否， 则确定所述待评估标 签对应的所述有效性评估结果为无效。 从而实现 了自动化评估 标签是否有效， 为智能客服的性能 提升提供了 基础。 权利要求书3页 说明书11页 附图3页 CN 114756692 A 2022.07.15 CN 114756692 A 1.一种基于多轮对话的标签有效性管理方法， 其特 征在于， 所述方法包括： 获取待评估标签和历史多轮对话文本库， 其中， 所述待评估标签是话术标签库中的标 签； 从所述历史多轮对话文本库中获取单轮对话文本， 以形成命中单轮对话文本， 其中， 所 述命中单轮对话文本的问句文本中包 含所述待评估标签； 根据各个所述命中单轮对话文本， 对所述待评估标签进行有效响应率计算； 判断所述有效响应率是否大于预设的响应率阈值； 若是， 则确定所述待评估标签对应的有效性评估结果 为有效； 若否， 则确定所述待评估标签对应的所述有效性评估结果 为无效。 2.根据权利要求1所述的基于多轮对话的标签有 效性管理方法， 其特征在于， 所述根据 各个所述命中单轮对话文本， 对所述待评估标签进行有效响应率计算的步骤， 包括： 对各个所述命中单轮对话文本进行对话轮次总数量计算； 对每个所述命中单轮对话文本的答复文本进行有效响应评估， 得到单轮评估结果； 对各个所述单轮评估结果进行有效的数量计算， 得到有效响应数量； 将所述有效响应数量除以所述对话轮次总数量， 得到所述有效响应率。 3.根据权利要求2所述的基于多轮对话的标签有 效性管理方法， 其特征在于， 所述对每 个所述命中单轮对话文本的答复文本进行有效响应评估， 得到单轮评估结果的步骤， 包括： 判断所述对话轮次总数量是否大于预设的对话轮次阈值； 若否， 则确定所述待评估标签对应的所述有效性评估结果 为无法评估； 若是， 则对每个所述命中单轮对话文本的答复文本进行有效响应评估， 得到所述单轮 评估结果。 4.根据权利要求3所述的基于多轮对话的标签有 效性管理方法， 其特征在于， 所述对每 个所述命中单轮对话文本的答复文本进行有效响应评估， 得到所述单轮评估结果的步骤， 包括： 将各个所述命中单轮对话文本中的任一个所述命中单轮对话文本作为目标单轮对话 文本； 将所述目标单轮对话文本输入预设的有效响应分类预测模型中进行有效响应分类预 测， 得到分类预测向量， 其中， 所述有效响应 分类预测模型是基于Bert模型和分类预测层训 练得到的模型， 所述分类预测层是采用softmax激活函数的全连接层； 判断所述分类预测向量中的与有效响应类别对应的向量元素是否大于预设的概率阈 值； 若是， 则确定所述目标 单轮对话文本对应的所述单轮评估结果 为有效； 若否， 则确定所述目标 单轮对话文本对应的所述单轮评估结果 为为无效。 5.根据权利要求1所述的基于多轮对话的标签有效性管理方法， 其特征在于， 所述若 否， 则确定所述待评估标签对应的所述有效性评估结果 为无效的步骤之后， 还 包括： 获取标签知识图谱； 采用所述标签知识图谱， 对所述待评估标签进行下一级别的标签生成， 得到待更新标 签集； 根据所述待评估标签、 所述待更新标签集和所述历史多轮对话文本库对应的对话主权　利　要　求　书 1/3 页 2 CN 114756692 A 2题， 对所述 话术标签库进行 更新； 根据所述历史多轮对话文本库对应的对话主题， 对所述待更新标签集中的每个标签生 成问句话 术文本， 以形成待存 储问句话 术文本； 根据各个所述对话主题、 所述待更新标签集和各个所述待存储问句话术文本， 对预设 的问句话 术文本库进行 更新。 6.根据权利要求5所述的基于多轮对话的标签有 效性管理方法， 其特征在于， 所述根据 各个所述对话主题、 所述待更新标签集和各个所述待存储问句话术文本， 对预设的问句话 术文本库进行 更新的步骤之后， 还 包括： 获取问句确定请求， 其中， 所述问句确定请求携带有 待分析标签集和目标对话主题； 根据所述目标对话主题、 所述待分析标签集、 所述话术标签库和所述问句话术文本库， 确定目标问句话 术文本； 根据所述目标问句话 术文本获取用户输入的目标回答文本； 将所述目标问句话术文本和所述目标回答文本组合成单轮对话文本， 以形成待存储单 轮对话文本； 将所述待存 储单轮对话文本更新到所述历史多轮对话文本库中。 7.根据权利要求6所述的基于多轮对话的标签有 效性管理方法， 其特征在于， 所述根据 所述目标对话主题、 所述待分析标签集、 所述话术标签库和所述问句话术文本库， 确定目标 问句话术文本的步骤， 包括： 根据所述 话术标签库， 对所述待分析 标签集进行级别最低的标签获取， 作为目标 标签； 根据所述目标标签从所述问句话术文本库中获取所述问句话术文本， 作为候选问句话 术文本集； 根据所述目标对话主题， 从所述候选问句话术文本集中获取所述问句话术文本， 得到 所述目标问句话 术文本。 8.一种基于多轮对话的标签有效性管理装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取待评估标签和历史多轮对话文本库， 其中， 所述待评估标签是 话术标签库中的标签； 命中单轮对话文本确定模块， 用于从所述历史多轮对话文本库中获取单轮对话文本， 以形成命中单轮对话文本， 其中， 所述命中单轮对话文本的问句文本中包含所述待评估标 签； 有效响应率确定模块， 用于根据各个所述命中单轮对话文本， 对所述待评估标签进行 有效响应率计算； 判断模块， 用于判断所述有效响应率是否大于预设的响应率阈值； 第一有效性评估结果确定模块， 用于若所述有效响应率大于所述响应率阈值， 则确定 所述待评估标签对应的有效性评估结果 为有效； 第二有效性评估结果确定模块， 用于若所述有效响应率小于或等于所述响应率阈值， 则确定所述待评估标签对应的所述有效性评估结果 为无效。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序权　利　要　求　书 2/3 页 3 CN 114756692 A 3