(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481184.2 (22)申请日 2022.05.05 (71)申请人 迈吉客科技 （北京） 有限公司 地址 100089 北京市海淀区宝盛南路1号院 26号楼6层621号 (72)发明人 伏英娜　霍久兴　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 赵万凯 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/338(2019.01) G06F 16/36(2019.01) (54)发明名称 基于富媒体知识图谱多模态情感分析模型 的智能交 互方法 (57)摘要 本申请实施例提供了一种基于基于富媒体 知识图谱多模态情感分析模型的智能交互方法， 涉及人机交互技术领域， 所述方法包括： 基于富 媒体多模态知识图谱， 生成用户问题对应的答 案； 基于多模态智 能情感交互模型， 根据所述答 案， 生成所述答案对应的情感和所述情感对应的 强度， 所述多模态智能情感交互模型表示答案、 情感和强度三者的映射关系； 基于情绪表达规 则， 根据所述强度， 获得所述强度对应的表情和 动作； 基于三维模型， 根据所述答案、 所述情感、 所述强度和所述表情和动作， 进行实时智能交 互。 本申请能够改善当前人机自然交互的展现形 式单一， 从而导致表达和沟通的效果较差的问 题， 达到丰富当前人机自然交互的展现形式的效 果。 权利要求书3页 说明书15页 附图7页 CN 114969282 A 2022.08.30 CN 114969282 A 1.一种基于富 媒体知识图谱多模态情感分析模型的智能交 互方法， 其特 征在于， 包括： 基于富媒体多模态知识图谱， 生成用户问题对应的答案， 所述富媒体多模态知识图谱 根据富媒体多模态信息构建， 所述富媒体多模态知识图谱包括答案集、 问题集和/或所述问 题集对应的答案集， 所述答案以脚本的形式运行， 所述富媒体多模态知识图谱还包括数据 来源； 基于多模态智能情感交互模型， 根据所述答案， 生成所述答案对应的情感和所述情感 对应的强度， 所述多模态智能情感交 互模型表示 答案、 情感和强度三 者的映射关系； 基于情感表达规则， 根据所述强度， 获得 所述强度对应的表情和/或动作； 基于三维模型， 根据所述 答案、 所述情感、 所述强度和所述表情和/或动作， 进行交 互。 2.根据权利要求1所述的方法， 其特 征在于， 所述问题集中的问题包括预设标签； 所述基于富 媒体多模态知识图谱， 生成用户问题对应的答案， 包括： 获取所述用户问题； 根据所述预设标签对所述用户问题进行分类， 并根据所述用户问题的分类结果从对应 的问题集中匹配对应的问题； 若匹配成功， 则根据所述用户问题和所述问题集对应的数据集， 生成所述用户问题对 应的答案 。 3.根据权利要求1所述的方法， 其特征在于， 所述基于富媒体多模态知识图谱， 生成用 户问题对应的答案， 包括： 提取所述用户问题的关键词， 并设置所述关键词的权 重； 对所述关键词进行泛化处 理， 根据泛化后的关键词， 生成所述用户问题的相似问题集； 将所述相似问题集与所述问题集进行匹配， 基于所述富媒体多模态知识图谱， 根据所 述问题集对应的答案集， 生成所述相似问题集对应的答案集， 作为所述富媒体多模态知识 图谱的增量数据； 根据所述关键词， 从所述答案集中查找所述关键词所有相关的答案， 所述关键词的权 重作为所述用户问题对应的答案排序依据。 4.根据权利要求1所述的方法， 其特征在于， 所述基于富媒体多模态知识图谱， 生成用 户问题对应的答案， 包括： 在所述富媒体多模态知识图谱中导入半结构化和非结构化数据； 对所述半结构化和非结构化数据进行关键词提取和向量 化处理； 根据所述用户问题， 基于关键词及向量计算检索并匹配对应的答案集； 根据所述用户问题， 对所述答案集数据进行搜索排序及阅读理解， 生成所述用户问题 对应的答案 。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述富媒体多模态知识图谱 的构建包括： 基于自顶向下的构建方式和/或自下而上的构建方式， 导入结构化数据、 半结构化数据 和/或非结构化数据生成所述富媒体多模态知识图谱， 所述富媒体多模态知识图谱包括所 述答案集、 所述问题集和/或所述问题集对应的答案集。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 基于所构建的多模态富 媒体搜索引擎进行 数据定位； 和/或权　利　要　求　书 1/3 页 2 CN 114969282 A 2基于相似问处 理算法， 对所述问题集进行增量处 理； 和/或 设置所述问题集的问题标签， 对所述问题集进行增量处 理； 和/或 基于向量计算方法， 对所述问题集、 所述问题集对应的答案集和/或所述答案集进行增 量处理； 和/或 基于文本分割算法和/或所述情 感表达规则， 对所述问题集、 所述问题集对应的答案集 和/或所述 答案集进行增量处 理； 和/或 基于分词处理算法、 命名实体识别算法、 关键词和同/近义词提取算法和/或词性分析 算法， 对所述问题集、 所述问题集对应的答案集和/或所述 答案集进行增量处 理。 7.根据权利要求1所述的方法， 其特 征在于， 所述 答案集的生成方法包括： 基于富媒体多模态数据的统一资源定位符， 获得富媒体多模态数据和所述富媒体多模 态数据的网页结构， 导入所述富媒体多模态数据包括文字数据、 图片数据、 图文数据、 音频 数据和/或视频 数据； 对所述富媒体多模态数据的类型与格式进行文字识别或提取； 根据所述 富媒体多模态数据的网页结构， 生成所述网页结构的正则表达式； 基于所述正则表达式， 获得所述富媒体多模态信息， 并对所述富媒体多模态信息进行 分割， 生成第一子富 媒体多模态信息； 基于所述文本分割算法， 对所述第一子富媒体多模态信息进行分割， 生成第二子富媒 体多模态信息； 根据所述第二子富 媒体多模态信息， 生成所述 答案集。 8.根据权利要求7 所述的方法， 其特 征在于， 所述 答案集的生成方法， 还 包括： 根据所述 正则表达式， 获得 所述富媒体多模态信息中图片和文字的相对位置关系； 根据富媒体多模态信 息中图片和视频类内容进行文字识别和提取， 建立图像数据与文 本数据的关联； 基于所述多模态智能情感交互模型、 语音和/或语义理解， 根据所述富媒体多模态信 息， 生成所述 富媒体多模态信息对应的情感和情感对应的强度； 基于所述情 感表达规则， 根据 所述富媒体多模态信息对应的情 感、 情感对应的强度、 所 述相对位置关系及关联， 生成所述 答案集。 9.根据权利要求1所述的方法， 其特征在于， 所述多模态智能情感交互模型是通过以下 方式训练得到的： 分别获取标记有情感标签的富媒体多模态信息和所述情感标签对应的强度标签的富 媒体多模态信息； 用标记有所述情感标签的富媒体多模态信 息作为训练数据， 利用深度神经网络算法进 行训练学习， 生成第一多模态智能情感交 互子模型； 用标记有所述强度标签的富媒体多模态信 息作为训练数据， 利用深度神经网络算法进 行训练学习， 生成第二多模态智能情感交 互子模型； 根据第一多模态智能情感交互子模型和第 二多模态智能情感交互子模型， 生成所述多 模态智能情感交 互模型。 10.根据权利要求1所述的方法， 其特征在于， 所述情绪表达规则包括所述答案集和/或 所述问题集对应的答案集对应的情感、 情感对应的强度、 情感对应的表情和/或动作、 强度权　利　要　求　书 2/3 页 3 CN 114969282 A 3