(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210873011.5 (22)申请日 2022.07.22 (71)申请人 山东浪潮科 学研究院有限公司 地址 250100 山东省济南市高新浪潮路 1036号S02号楼 (72)发明人 孙善宝　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 潘悦梅 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/332(2019.01) G06F 16/335(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06Q 50/20(2012.01) (54)发明名称 基于多视图学习的教学知识图谱构建及检 索方法及系统 (57)摘要 本发明公开了基于多视图学习的教学知识 图谱构建及检索方法及系统， 属于教学资源推荐 技术领域， 要解决的技术问题 为如何利用深度学 习技术， 结合多视图学习和用户画像技术， 有效 利用海量 教学资源， 自动构建更加准确合理的教 学知识图谱， 并实现个性化的知识点检索推荐。 包括如下步骤： 基于多视图特征提取器、 教学资 源画像模型、 知识图谱构建模型、 用户画像模型 以及检索推荐模 型构建图谱构建及检索模型， 并 依次对多视图特征提取器、 教学资源画像模型、 知识图谱构建模 型、 用户画 像模型以及检索推荐 模型进行模 型训练； 通过训练后的图谱构建及检 索模型构建教学知识点知识图谱， 基于教学知识 点知识图谱构建索引并提供检索推荐服 务。 权利要求书5页 说明书12页 附图1页 CN 115292513 A 2022.11.04 CN 115292513 A 1.一种基于多视图学习的教学知识图谱构建及检索方法， 其特 征在于包括如下步骤： 构建多视图特征提取器， 所述多特征视图提取器用于对多种视图方式的教学资源数据 进行特征提取和特 征融合， 得到知识点本体结构及关联知识点； 基于卷积神经网络构建教学资源画像模型， 所述教学资源画像模型以教学资源数据以 及教学资源互联网相关扩展数据为输入， 对教学资源进 行画像， 输出教学资源属性， 所述教 学资源属性包括教学资源基础属性和教学资源 扩展属性； 基于神经网络构建知识图谱构建模型， 所述知识图谱构建模型以基于知识点本体结构 及关联知识点以及教学资源属性 为输入， 生成 教学知识点知识图谱； 构建用户画像模型， 所述用户画像模型以用户信息为输入， 对用户进行画像， 输出用户 属性； 构建检索推荐模型， 所述检索推荐模型用于基于教学知识点知识图谱构建索引并提供 检索推荐服务， 用于通过输入的检索内容、 并结合用户属性， 输出多组知识 点及推荐资源以 供用户选择； 基于所述多视图特征提取器、 教学资源画像模型、 知识图谱构建模型、 用户画像模型以 及检索推荐模型构建图谱构建及检索模型， 并依 次对所述多视图特征提取器、 教学资源画 像模型、 知识图谱构建模型、 用户画像模型以及检索推荐模型进 行模型训练， 得到训练后的 图谱构建及检索模型； 通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱， 基于教学知识点知 识图谱构建索引并提供检索推荐服 务， 为用户输出多组知识点及推荐资源以供用户选择。 2.根据权利要求1所述的基于多视图学习的教学知识图谱构建及检索方法， 其特征在 于所述教学资源的数据源包括教材书籍、 教案、 教学视频、 教学语音以及演讲稿， 所述教学 资源的视图方式共四种， 分别为视频、 音频、 图像和文字； 所述教学资源基础属性包括知识点、 内容结构、 过程、 原理、 概念、 工具； 所述教学资源 扩展属性包括互联网评价信息和展现形式； 所述检索内容的视图形式包括文字、 语音、 视频和图像； 所述教学知识点知识图谱包括语义网络、 教学资源基础数据和教学资源扩展属性， 所 述语义网络为基于知识点本体结构及 知识点关联 形成的； 所述用户信息包括基础信息和学习情况； 所述用户属性包括知识点喜好、 掌握程度以及综合能力。 3.根据权利要求2所述的基于多视图学习的教学知识图谱构建及检索方法， 其特征在 于所述多视图特 征提取器包括： 视频特征提取模型， 所述视频特征提取模型为基于三维CNN卷积神经网络构建的网络 模型， 用于从视频 方式的教学资源数据提取知识点语义特 征； 音频特征提取模型， 所述音频特征提取模型为基于CNN卷积神经网络构建的网络模型， 用于从音频 方式的教学资源数据中提取知识点语义特 征； 图像特征提取模型， 所述图像特征提取模型为基于卷积神经网络构建的网路模型， 用 于从图像方式的教学资源数据中提取知识点语义特 征； 文字特征提取模型， 所述文字特征提取模型为基于BERT 的语言模型， 用于从文字方式 的教学资源数据中提取知识点语义特 征；权　利　要　求　书 1/5 页 2 CN 115292513 A 2特征融合模型， 所述特征融合模型用于将所述视频特征提取模型、 音频特征提取模型、 图像特征提取模型以及文字特征提取模型输出的知识点语义特征进行融合， 得到知识点本 体结构及关联知识点； 所述知识图谱构建模型包括： 特征编码器， 所述特征编码器用于对知识点进行编码， 使得相似知识点之间的向量计 算距离小， 用于提供资源索引查询； 生成网络模型， 所述 生成网络模型用于生成 教学知识点知识图谱。 4.根据权利要求3所述的基于多视图学习的教学知识图谱构建及检索方法， 其特征在 于依次对 所述多视图特征提取器、 教学资源画像模 型、 知识图谱构建模型、 用户画像模型以 及检索推荐模型进行模型训练， 包括如下步骤： 从多个数据源获取教学资源数据， 并根据其素 材进行数据标注； 基于所述教学资源数据， 分别对所述多视 图特征提取器中视频特征提取模型、 音频特 征提取模型、 图像特 征提取模型以及文字特 征提取模型进行模型 预训练； 将所述多视 图特征提取器中视频特征提取模型、 音频特征提取模型、 图像特征提取模 型以及文字特 征提取模型的模型参数固定， 对所述特 征融合模型进行模型训练； 将所述多视 图特征提取器中视频特征提取模型、 音频特征提取模型、 图像特征提取模 型、 文字特征提取模型以及特征融合模型进行组合， 通过所述教学资源数据对所述多视图 特征提取器整体进行模型训练， 对所述多视图特 征提取器中每 个模型进行参数微调； 收集教学资源互联网相关扩展数据， 并进行 标签标注； 基于所述教学资源数据、 教学资源互联网相关扩展数据以及标签， 对所述教学资源画 像模型进行模型训练； 基于所述多视图特征提取器输出的知识点本体结构及 关联知识点， 以及所述教学资源 画像模型输出的教学资源基础属性和教学资源扩展属性， 对所述知识图谱构建模型进 行模 型训练； 收集用户信息， 并进行 标签标注； 基于用户信息和标签， 对所述用户画像模型进行模型训练； 基于多视 图特征提取器中视频特征提取模型、 音频特征提取模型、 图像特征提取模型 以及文字特征提取模型对所述检索推荐模型进行轻量化剪裁， 对所述检索推荐模型中搜索 条件提取模型进行训练； 基于所述用户画像模型输出的用户属性以及所述知识图谱构建模型输出的教学知识 点知识图谱， 对所述检索推荐模型进行模型训练。 5.根据权利要求3所述的基于多视图学习的教学知识图谱构建及检索方法， 其特征在 于通过所述训练后的图谱构建及检索模型构建教学知识点知识图谱， 包括如下步骤： 选定领域， 收集选 定领域的教学资源数据； 通过训练后的多视图特征提取器对所述教学资源进行特征提取和特征融合， 得到知识 点本体结构及关联知识点； 收集教学资源互联网相关扩展数据， 基于所述教学资源互联网相关扩展数据以及教学 资源数据， 通过训练后的教学资源画像模型对教学资源进行画像， 得到教学资源属性； 基于知识点本体结构及关联知识点、 教学资源属性， 通过训练后的知识图谱构建模型权　利　要　求　书 2/5 页 3 CN 115292513 A 3