(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210661002.X (22)申请日 2022.06.13 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 蔡毅　曾雨诗　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 陈嘉乐 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06F 40/211(2020.01) G06F 40/216(2020.01)G06F 40/284(2020.01) G06K 9/62(2022.01) (54)发明名称 基于方面观点词情感对齐的跨领域情感分 析方法及装置 (57)摘要 本发明公开了一种基于方面观点词情感对 齐的跨领域情感分析方法及装置， 其中方法包 括： 构建跨领域情感分析模型， 所述跨领域情感 分析模型包括预训练BERT编码器、 GCN自动编码 器以及情感分类器； 通过预训练BERT编码器获取 第一特征向量， 通过GCN自动编码器获取包含背 景常识和方面观点词情感对齐的第二特征向量； 拼接两个编码器产生的特征向量作为句子的向 量输入情感分类器， 计算输入文本所有可能极性 的概率， 选择概率最大的情感标签作为最终的预 测情感标签， 完成情感分析任务。 本发明利用对 抗训练将源领域和目标领域数据映射到同一分 布空间， 从而提高模型从源领域迁移到目标领域 的实体预测效果， 可广泛应用于自然语 言处理技 术领域。 权利要求书3页 说明书7页 附图1页 CN 115269770 A 2022.11.01 CN 115269770 A 1.一种基于方面观点词情感对齐的跨领域情感分析 方法， 其特 征在于， 包括以下步骤： 构建跨领域情感分析模型， 所述跨领域情感分析模型包括预训练BERT编码器、 GCN自动 编码器以及情感分类 器； 将源领域与目标领域的句子输入所述预训练BERT编码器进行编码， 获得第一特征向 量； 以句子为单位， 将句子中指定词性的单词作为种子， 通过过滤ConceptNet常识知识库 扩充指定词， 并利用句子中的依赖关系构建出 方面观点词领域常识图谱； 设计关系分类任务和情感对齐分类任务两个自监督任务， 训练GCN自动编码器， 获得包 含背景常识和方面观点词情感对齐的第二特 征向量； 将GCN自动编码器产生的第二特征向量输入图特征重构器， 通过图特征重构器， 图节点 级别特征向量向量 适应词级别的向量； 拼接两个编码器产生的特征向量作为句子的向量输入情感分类器， 计算输入文本所有 可能极性的概 率， 选择概 率最大的情感标签作为 最终的预测情感标签， 完成情感分析任务； 联合训练关系分类任务和情感对齐分类任务， 优化跨领域情感分析模型， 得到最佳的 模型参数； 获取需要情 感分析的目标领域数据， 将目标领域数据输入优化后的跨领域情感分析模 型， 输出句子情感的预测标签。 2.根据权利要求1所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 所述预训练BERT编码器通过以下 方式进行训练： 获取源领域域或者目标领域的文本， 对BERT编码器进行训练， 以获得丰富的领域特征 知识； 其中， 文本中每 个句子的特 征向量表示 为： xw＝h[cls]＝BERT(x) 式中， x代表的是输入的句子， h[cls]表示的是BERT编码器句前特殊字符的隐向量表示， BERT为句子编码器。 3.根据权利要求1所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 在方面观点词 领域常识图谱中， 所有句子的子图合并成为领域常识图谱的表示如 下： 其中， 构建出图谱中的节点vi∈V， 关系三元组(vi,ri,j,vj)∈φ， 其中 表示为两节 点vi与vj关系， φ表示的是图谱G包 含的所有三元组集 合。 4.根据权利要求1所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 所述设计关系分类任务和情感对齐分类任务两个自监督任务， 训练GCN自动编码 器， 获得包 含背景常识和方面观点词情感对齐的第二特 征向量， 包括： 预测节点与节点之间的关系获得常识知识特征向量， 以及利用情感对齐二元分类任务 来学习方面观点对之间的情感对齐特征， 从而获得包含背 景常识和方面观点词情感对齐的 特征向量； 其中， 特征向量的转换 过程可以表示 为： 权　利　要　求　书 1/3 页 2 CN 115269770 A 2其中， 代表节点i在关系r下 的所有邻居节点； ci,r是可以预先设置的归一化常数； gi 是随机初始 化的初始节 点特征向量， 对其使用两步图卷积过程后， 转换为hi， 即 为领域 聚合特征向量， 和 是指第l层的权重矩阵； xi是节点i的特征向量表示， xj是节点j的 特征向量表示。 5.根据权利要求1所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 所述将GCN自动编码器产生的第二特征向量输入图特征重构器， 通过图特征重构 器， 图节点级别特征向量向量适应词级别的向量的过程中， 以句子为单位， 特征映射层和图 特征重构器设计如下： xc＝Wcx’c+bc x’recon＝Wreconxc+brecon 其中， x代表句子的向量表示， Wc和bc， Wrecon和brecon都是权重矩阵； x ’c是x构建子图谱后 通过GCN自动编码器后， 平均图谱中所有节点表示所获得的句子特征向量； x ’recon是进过图 特征重构器后获得的适应到单词级别分布空间的句子特征向量表示； xc的向量表示作为 GCN自动编码器对句子x的最终向量表示； bc是全连接层的常数向量。 6.根据权利要求5所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 所述图特 征重构器的损失函数的表达式如下： 其中， x’c， x’recon分别是句子x构建子图谱后， 将图谱输入GCN自动编码器后获得的句子 特征向量表示， 以及通过重构函数后获得的句子特 征向量表示。 7.根据权利要求1所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 所述拼接两个编码器产生的特征向量作为句 子的向量输入情感分类器， 计算输入 文本所有可能极性的概率， 选择概率最大 的情感标签作为最终的预测情感标签， 完成情感 分析任务的步骤中， 句子的特 征向量表示 为： x＝[xc； xw] 其中， xc是通过带有方面观点词情感对齐的常识知识向量， xw是BERT编码器产生的带有 上下文信息的句子向量； [； ]表示 拼接向量。 8.根据权利要求7所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 完成情感分析任务的步骤中， 输出给定句 子x的情感概率， 情感概率的计算公式如 下： 其中， ci∈C是可能的情感极性， xi是第i个节点的向量表示。 9.根据权利要求1所述的一种基于方面观点词情感对齐的跨领域情感分析方法， 其特 征在于， 所述优化 跨领域情感分析模型， 包括： 采用Adam优化器优化所述跨领域情感分析模型， 其中， 优化过程中采用的损失函数表权　利　要　求　书 2/3 页 3 CN 115269770 A 3