(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588407.5 (22)申请日 2022.05.26 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 李永强　李文伟　冯远静　范陈强　 赵永智　吴毕亮　林栋　叶衍统　 汤家睿　薛志豪　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 赵芳 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/735(2019.01) G06F 16/36(2019.01) (54)发明名称 基于自注意力的融合三元组信的短序列扩 充电影推荐方法 (57)摘要 一种基于自注意力的融合三元组信息的短 序列扩充电影推荐方法， 包括以下步骤： 1)原始 数据处理： 处理用户观看电影的历史数据， 并根 据预先设定好的电影关系为每部电影制作知识 图谱； 2)根据时间戳为每个用户制作观 看的历史 电影序列， 使用单向Transformer模型反向训练 模型， 得到反向的预训练模型， 使用反向的预训 练模型生成扩充的增强数据； 3)将扩充后的数据 送入预训练模 型进行正向模型的微调， 得到正向 的预训练模型； 4)使用正向微调后的模 型预测用 户下一部即将观 看的电影。 本发 明对短序列进行 扩充， 增强了 数据， 解决部分冷启动问题， 对电影 的推荐提供有力的帮助。 权利要求书2页 说明书4页 附图1页 CN 114943010 A 2022.08.26 CN 114943010 A 1.一种基于自注意力的融合三元组信息短序列扩充电影推荐方法， 其特征在于， 所述 方法包括以下步骤： 1)原始数据处理： 把原始的用户观看电影的历史数据处理成[用户id、 电影id、 评分、 时 间戳]的格式， 针对每部电影根据预先设定好的电影的关系schema为每部电影制作知识图 谱作为电影的外 部信息； 2)根据时间戳为每个用户制作观看的历史电影序列， 以序列中第一个电影item  0作为 下一项将要预测的item， 以[item  1,item 2......item  n]作为输入序列， 使用单向 Transformer模型反向训练模型， 得到反向的预训练模型， 用来生成增强数据， 实现过程如 下所述： 2.1)对于每个输入的电影item当作头实体， 使用图卷积网络获取到它们的关系和尾实 体的聚合信息kg_embed ding作为该item的外 部信息,其GCN公式定义 为： πi r＝g(i,r) 其中， i∈Rd和r∈Rd分别为电影item和关系r的表示， d为表示的维度， 描述了关系r与 电影item的重要 性， 是标准化的item关系得分， e为知 识图谱中实体的表示， N(v)表示固 定数量的邻居集， vi N(v)为聚合后的表示； 2.2)将item的嵌入item_embedding和item的三元组融合嵌入kg_embedding相加 [item_embedding  1+kg_emb edding 1,item_embedding  2+kg_embedding  2......item_ embedding  n+kg_embedding  n]作为Transformer模块中的Q和K， 将[item_embedding  1, item_embedding  2......item_embedding  n]作为Transformer模块中的V， 送入单向 Transformer模型进行反向训练， 预测item  0； 其中， Q和K为 item本身和知识图谱聚合的叠加表示， V为 item本身表示； 2.3)根据每一个位置的单向Transformer模块的输出与真实值计算交叉熵损失， 利用 Adam优化器优化模型， 最终训练好的反向模型作为预训练模型， 以下 是损失函数： 权　利　要　求　书 1/2 页 2 CN 114943010 A 2其中xi,t为模型输出Ht与所有item矩阵的点击值， at为时间步t的期望输出， <pad>表示 一个填充项， st+1表示期望输出为下一个item， 表示要预测的item， LOSS为交叉熵损失 函数， xat,t表示item t的输出与真实期望item的点击分数， xj,y表示负样本的分数； 2.4)通过预训练模型输入[item  0,item 1,item 2......item  n]预测前一个电影 item‑1， 将item ‑1加到序列第一个位置形成新序列[item ‑1,item 0,item 1,item  2......item  n]， 再将该序列送入预训练模 型预测电影item ‑2， 递归的重复此操作， 最后得 到k个原item序列前的伪item， 将这k个伪item加到原序列前， 得到扩充序列[item ‑ k......item‑2,item‑1,item 0,item 1,item 2......item n]； 3)将扩充序列[item ‑k......item ‑2,item‑1,item 0,item 1,item 2......item  n‑ 1]送入预训练模型进行正向模型的微调， 根据输入的扩充长度的序列经过正向 Transformer模型预测最后一项item  n， 微调的过程与反向训练一致， 过程见2.2)、 2.3)， 经 过训练微调后得到正向的预训练模型； 4)使用微调后的正向预训练模型， 通过输入扩充序列[item ‑k......item ‑2,item  ‑1, item 0,item 1,item 2......item  n]经过正向Transformer模型预测该用户下一部将要 观看的电影item  n+1。权　利　要　求　书 2/2 页 3 CN 114943010 A 3