(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210505156.X (22)申请日 2022.05.10 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 司世景　王健宗　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 姚章国 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/36(2019.01) G06F 40/247(2020.01) G06F 40/289(2020.01)G06F 40/30(2020.01) (54)发明名称 语言模型训练方法、 装置、 设备及存 储介质 (57)摘要 本申请涉及人工智能技术领域， 本申请公开 了一种语言模型训练方法、 装置、 设备及存储介 质， 将获取的训练文本数据进行数据增强处理， 确定对应的训练文本数据对应的近义文本数据 和反义文本数据， 以提高所训练语 言模型的准确 性和稳定性； 对练文本数据、 近义文本数据和反 义文本数据进行特征提取， 确定原始文本特征、 近义文本 特征和反义文本特征， 并根据原始文本 特征、 近义文本特征和反义文本特征进行语言模 型训练， 从而获取准确度更高的目标语言模型， 以保证后续下游语言处 理的准确性和稳定性。 权利要求书2页 说明书11页 附图3页 CN 114756659 A 2022.07.15 CN 114756659 A 1.一种语言模型训练方法， 其特 征在于， 包括： 获取训练文本数据； 对所述训练文本数据进行数据增强处理， 获取所述训练文本数据对应的近义文本数据 和反义文本数据； 对所述训练文本数据、 所述近义文本数据和所述反义文本数据进行特征提取， 获取原 始文本特 征、 近义文本特 征和反义文本特 征； 根据所述原始文本特征、 所述近义文本特征和所述反义文本特征进行语言模型训练， 获取目标语言模型。 2.如权利要求1所述的语言模型训练方法， 其特征在于， 所述对所述训练文本数据进行 数据增强处 理， 获取所述训练文本数据对应的近义文本数据和反义文本数据， 包括： 对所述训练文本数据进行分词处 理， 获取至少两个原 始词汇； 将每一所述原始词汇与预设词典进行词性匹配处理， 获取所述原始词汇对应的可替换 词汇； 对所述可替换词汇进行词汇替换处理， 获取所述训练文本数据对应的近义文本数据和 反义文本数据。 3.如权利要求2所述的语言模型训练方法， 其特征在于， 所述将每一所述原始词汇与 预 设词典进行词性匹配处 理， 获取所述原始词汇对应的可替换词汇， 包括： 将每一所述原始词汇与所述预设词典进行词性匹配处理， 确定每一原始词汇的词汇属 性； 若所述词汇属性 为可替换属性， 则获取 所述原始词汇对应的可替换词汇。 4.如权利要求2所述的语言模型训练方法， 其特征在于， 所述对所述可替换词汇进行词 汇替换处 理， 获取所述训练文本数据对应的近义文本数据和反义文本数据， 包括： 对所述可替换词汇与 所述原始词汇进行相似度计算， 获取所述可替换词汇所对应的词 汇相似度； 根据所述词汇相似度进行筛 选处理， 获取所述原始词汇对应的近义词汇和反义词汇； 采用所述近义词汇， 对所述原始词汇进行替换处理， 获取所述训练文本数据对应的所 述近义文本数据； 采用所述反义词汇， 对所述原始词汇进行替换处理， 获取所述训练文本数据对应的所 述反义文本数据。 5.如权利要求1所述的语言模型训练方法， 其特征在于， 所述根据所述原始文本特征、 所述近义文本特 征和所述反义文本特 征进行语言模型训练， 获取目标语言模型， 包括： 根据所述原 始文本特 征和所述近义文本特 征， 获取第一映射特 征； 根据所述原 始文本特 征和所述反义文本特 征， 获取第二映射特 征； 采用所述第一映射特征和所述第二映射特征对通用语言模型训练， 获取目标语言模 型。 6.如权利要求5所述的语言模型训练方法， 其特征在于， 所述采用所述第 一映射特征和 所述第二映射特 征对通用语言模型训练， 获取目标语言模型， 包括： 根据所述第一映射特 征和所述第二映射特 征， 获取映射特 征比值； 若所述映射特 征比值大于预设比值阈值， 则更新所述 通用语言模型的模型参数；权　利　要　求　书 1/2 页 2 CN 114756659 A 2若所述映射特 征比值不大于预设比值阈值， 则不更新所述 通用语言模型的模型参数。 7.如权利要求6所述的语言模型训练方法， 其特征在于， 所述采用所述第 一映射特征和 所述第二映射特 征对通用语言模型训练， 获取目标语言模型， 包括： 根据所述第一映射特 征和所述第二映射特 征， 获取原 始损失函数； 根据所述第一映射特 征和所述第二映射特 征， 获取目标截断函数； 根据所述原 始损失函数和所述目标截断函数， 确定目标损失函数； 采用所述目标损失函数进行通用语言模型训练， 获取目标语言模型。 8.一种语言模型训练装置， 其特 征在于， 包括： 训练文本数据获取模块， 获取训练文本数据； 增强处理模块， 对所述训练文本数据进行数据增强处理， 获取所述训练文本数据对应 的近义文本数据和反义文本数据； 特征提取模块， 对所述训练文本数据、 所述近义文本数据和所述反义文本数据进行特 征提取， 获取原 始文本特 征、 近义文本特 征和反义文本特 征； 目标语言模型获取模块， 根据所述原始文本特征、 所述近义文本特征和所述反义文本 特征进行语言模型训练， 获取目标语言模型。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述语言模型训练方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述语言模型训练方法。权　利　要　求　书 2/2 页 3 CN 114756659 A 3