(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210646948.9 (22)申请日 2022.06.08 (71)申请人 深圳市赛 为智能股份有限公司 地址 518000 广东省深圳市龙岗区南湾街 道下李朗社区联李东路8号赛为大楼 A101至15楼 (72)发明人 郑博超　王秋阳　胡懋成　凤阳　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/335(2019.01) G06F 16/36(2019.01) G06F 40/295(2020.01)G06N 3/08(2006.01) G06Q 50/18(2012.01) (54)发明名称 法条推荐方法、 装置、 计算机设备及存储介 质 (57)摘要 本发明实施例公开了一种法条推荐 方法、 装 置、 计算机设备及存储介质， 训练方法包括： 使用 SentencePiece模型构建法律专门词典。 采用法 律专门词典中的符号对预训练样本与正式训练 样本中的文本进行标识化处理， 生成对应的符号 序列。 在预训练阶段， 将预训练样本的符号序列 输入至MacBERT模型进行训练， 得到MacBERT预训 练权重。 在正式训练阶段， 使用预训练权重作为 MacBERT模型的初 始权重， 在MacBERT模型基础上 增加元数据特征提取网络结构和分类网络结构， 以推荐法条标签作为监督信息， 以正式训练样本 的符号序列化文本和元数据作为输入。 经过迭代 训练后得到该法条推荐模型。 本发 明提升了对文 本的分词效果， 对特征提取能力和文本内容的理 解能力。 权利要求书2页 说明书12页 附图3页 CN 114880438 A 2022.08.09 CN 114880438 A 1.法条推荐方法， 其特 征在于， 包括： 选取待查询文本； 将待查询文本输入到法条推荐模型中进行处理， 以得到与待查询文本 内容相关的法条 推荐结果。 2.根据权利要求1所述的法条推荐方法， 其特征在于， 所述法条推荐模型的训练方法包 括： 使用SentencePiece模型构建法律专门词典； 选取预训练样本， 所述预训练样本包括事实文本和与案件 事实对应的法条文本； 采用法律专门词典的符号对预训练样本 中的事实文本进行标识化处理， 以生成对应事 实文本的符号序列预训练样本； 将符号序列预训练样本 输入至MacBERT模型进行 预训练， 以得到 MacBERT模型权 重； 构建正式训练样本， 所述正式训练样本包括文本数据、 元数据和与案件事实对应的法 条文本； 采用法律专门词典的符号对正式训练样本的文本数据进行标识化处理， 以生成对应文 本数据的符号序列正式训练样本； 将正式训练样本中的元数据进行编码， 以得到元数据的特征向量， 并将符号序列正式 训练样本通过MacBERT模型权 重处理， 以得到符号序列正式训练样本的语义特 征向量； 将元数据的特征向量和符号序列 正式训练样本的语义特征向量进行concat融合， 以得 到融合特 征向量； 对融合特征向量通过Dropout、 LinearTanh和Softmax层叠加处理， 以得到每一条法条 被引用的预测概 率； 通过损失函数计算的损失值衡量模型 预测概率的向量和样本的标签向量之间的差异； 当迭代训练后， 推荐结果的top20召回率和损失值充分收敛且稳定时， 此时的模型参数 权重在法条类推荐任务上达到局部最优， 并确定此时的模型结构为训练完成的法条推荐模 型。 3.根据权利要求2所述的法条推荐方法， 其特征在于， 所述使用SentencePiece模型构 建法律专门词典， 所述SentencePiece模型包括 Normalizer、 Trai ner、 Encoder和Decoder。 4.根据权利要求3所述的法条推荐方法， 其特征在于， 所述使用SentencePiece模型构 建法律专门词典， 包括： 通过Encoder执 行范式化输入文本； 通过Trai ner对范式化输入文本进行训练， 以得到亚词分割模型； 亚词分割模型将范式化输入文本转换为 亚词对应的符号； Decoder将亚词序列转变为范式化文本 。 5.根据权利要求2所述的法条推荐方法， 其特征在于， 所述构建正式训练样本， 所述正 式训练样本包括文本数据、 元 数据和与案件 事实对应的法条文本， 包括： 获取法院裁决的生态 环境案件的文本； 对文本的信息进行提取， 以得到正式训练样本 。 6.根据权利要求2所述的法条推荐方法， 其特征在于， 所述将符号序列 预训练样本输入 至MacBERT模型进行预训练， 以得到MacBERT模型权重， 在训练时使用entity ‑level mask替权　利　要　求　书 1/2 页 2 CN 114880438 A 2换MacBERT模型的to ken‑level mask。 7.根据权利要求2所述的法条推荐方法， 其特征在于， 所述通过损失函数计算的损失值 衡量模型预测概率的向量和样本的标签向量之间的差异， 所采用的损失函数为cross ‑ entropy损失函数。 8.法条推荐装置， 其特 征在于， 包括选取 单元和处理单元； 所述选取 单元， 用于选取待查询文本； 所述处理单元， 用于将待查询文本输入到法条推荐模型中进行处理， 以得到与待查询 文本内容相关的法条推荐结果。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器以及存储在所述存储器上并可在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1～7 中任意一项所述的法条推荐方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序包括程序指 令， 所述程序指 令被处理器执行时， 使得所述处理器执行如权利要求 1 ～7任意一项所述的法条推荐方法步骤。权　利　要　求　书 2/2 页 3 CN 114880438 A 3