1.一种基于大模型的法律文书智能生成方法,其特征在于,包括以下步骤:步骤1:多渠道搜集法律相关文本,并对收集的数据进行预处理;
步骤2:对预处理后的法律相关文本进行知识抽取和知识融合与消歧操作,将处理后的信息整合获得法律领域知识图谱;
步骤3:选择BERT模型进行预训练,包括模型初始化、配置超参数、确定预训练任务、数据准备以及预训练过程;
步骤4:将法律领域知识图谱数据与法律文书样本数据融合并调整输入格式,明确微调训练目标设定,按批次输入模型进行微调训练;
步骤5:用户通过交互界面选择文书类型并输入相关参数,传递给微调后的模型,模型依文书类型确定初稿框架,生成法律文书初稿;
步骤6:多维度评估初稿质量,若需优化则根据评估结果反馈至模型训练环节进行针对性改进,达标后输出符合要求的法律文书给用户。
2.根据权利要求1所述的一种基于大模型的法律文书智能生成方法,其特征在于,所述步骤1中,从官方法律数据库、专业法律文档库、知名法学学术资源平台以及政府部门发布的法律法规、政策文件原文中搜集法律相关文本;所述数据预处理包括数据清洗、文本规范化和分类标注。
3.根据权利要求2所述的一种基于大模型的法律文书智能生成方法,其特征在于,所述步骤2中,所述知识抽取包括实体抽取、关系抽取和属性抽取;所述知识融合与消歧包括实体对齐、实体消岐和知识整合。
4.根据权利要求3所述的一种基于大模型的法律文书智能生成方法,其特征在于,所述步骤3中,选择BERT-large架构包含24层Transformer编码器,隐藏层大小为1024,自注意力头数量为16;学习率设置在1e-6到之间3e-6;训练批次大小常见取值16、32;由于BERT-large模型的深度和复杂度,训练轮数一般设定在10-20轮;选择Adam优化器;
设计预训练任务,即掩码语言模型MLM任务和下一句预测NSP任务;
收集大规模的通用文本数据作为预训练素材,对这些数据进行预处理;
将预处理好的通用文本数据按照设定的批次大小依次输入到预训练模型中,针对每个批次的数据,模型根据设定的预训练任务进行前向传播计算,具体为:对于MLM任务,使用交叉熵损失函数计算其预测词的概率分布与真实词的one-hot编码之间的交叉熵损失;假设词汇表大小为V,被掩盖词的数量为N,对于第i个被掩盖词在词汇表中第j个单词的预测概率为pij,真实标签为yij,则MLM任务的损失函数公式为:其中,真实标签yij只有对应真实词的位置为1,其余为0;
对于NSP任务,同样使用交叉熵损失函数计算预测句子关系概率与真实标签之间的交叉熵损失;假设预测两个句子相邻的概率为p,真实标签为y,则NSP任务的损失函数为:LossNSP=-[ylog(p)+(1-y)log(1-p)]
其中,真实标签为y为1时表示相邻,为0时表示不相邻;
计算总损失Loss1=LossMLM+LossNSP;
利用优化算法Adam进行反向传播,调整模型的参数,使模型朝着降低损失值、更好地完成预训练任务的方向逐步优化;对于选定的Adam优化器,它会根据梯度的一阶矩估计和二阶矩估计以及设定的学习率来更新参数;其更新公式为:mt=β1mt-1+(1-β1)gt
其中,其中mt和vt分别是一阶矩估计和二阶矩估计在第t步的值,gt是第t步的梯度,α是学习率,β1、β2、ε是优化器的超参数,和是修正后的一阶矩估计和二阶矩估计,θt是模型参数在第t步的值,θt+1是更新后的参数值;
按照设定的训练轮数对多个批次的数据进行反复迭代训练。
5.根据权利要求4所述的一种基于大模型的法律文书智能生成方法,其特征在于,所述步骤4中,从构建好的法律领域知识图谱中提取关键信息,包括实体、关系以及属性,并对提取的实体和关系进行向量化表示;
对于每一份法律文书样本,遍历其中的文本内容,识别与知识图谱中的实体相对应的词汇或短语;将识别出的实体向量融合到法律文书样本的文本向量序列中;
根据输入要求,确定最大输入长度;在融合后的输入向量序列中添加特殊标记,以辅助模型理解文本结构和任务要求;
微调训练目标设定包括法律文书格式生成目标、法律术语运用准确性目标以及法律逻辑关系构建目标;
将融合法律领域知识图谱数据且调整好格式的法律文书样本按设定批次大小依次输入模型;
数据输入模型后,首先经过预训练的部分进行编码,通过多层Transformer编码器的自注意力机制,模型能够充分捕捉文本的语义特征;
将编码后的语义特征将被传递到用于生成特定文书类型的生成层和用于判断文书格式正确性的格式判断层,进行进一步的处理与分析;
根据模型输出与真实法律文书样本,按照设定的损失函数计算损失值,损失函数包括基本语言生成损失、法律术语损失惩罚项以及法律逻辑关系损失惩罚项,具体为:基于语言生成损失:针对法律文书生成的语言部分,运用交叉熵损失函数;设模型预测的单词概率分布为p(yx),pmnk表示第m个样本、第n个单词位置预测词汇表中第k个单词的概率,ymnk第m个样本、第n个单词位置预测词汇表中第k个单词对于的真实标签,批次大小为B,样本长度为S,词汇表大小为V,则语言生成部分的交叉熵损失公式为:其中,k是词汇表维度的索引;
法律术语损失惩罚项:设为法律术语损失的权重系数ωterm为强调法律术语的正确使用,添加惩罚项;定义函数ftern(x)计算第m个样本中法律术语错误的数量;假设总共有T个法律术语需检查,则法律术语损失惩罚项公式为:法律逻辑关系损失惩罚项:对于法律逻辑关系部分,同样添加惩罚项;设为法律逻辑关系损失的权重系数ωlogic,定义函数flogic(x)计算第m个样本中法律逻辑关系错误的程度;假设总共有R个法律逻辑关系需检查,则法律逻辑关系损失惩罚项公式为:总损失函数:L2=Llang+Lterm+Llogic;
使用反向传播算法计算损失对模型参数的梯度,从最后一层开始,通过链式法则依次向前计算每层参数的梯度值,得到每个参数对应的梯度向量;采用Adam优化器更新模型的参数。
6.根据权利要求5所述的一种基于大模型的法律文书智能生成方法,其特征在于,所述步骤5中,用户通过系统提供的友好交互界面选择文书类型并输入相关参数,界面将信息传递给经过微调训练的大模型;
模型依据预先学习到的该类型文书的结构模板和法律逻辑确定初稿框架,结合法律知识和语言能力生成法律文书初稿。
7.根据权利要求6所述的一种基于大模型的法律文书智能生成方法,其特征在于,所述步骤6中,从语言流畅性维度、法律术语准确性维度、逻辑合理性维度以及格式规范性维度进行法律文书初稿质量评估;
根据评估结果,收集需要优化的法律文书初稿及其对应的评估数据并标注为训练数据,输入模型进行微调训练;
再次对经过优化和模型重新训练后生成的法律文书进行评估,当质量达标后,将其以用户所需格式输出,并记录生成和优化过程数据。
8.根据权利要求7所述的一种基于大模型的法律文书智能生成系统,应用于权利1-7所述的一种基于大模型的法律文书智能生成方法,其特征在于,包括数据采集与预处理模块、法律知识图谱构建模块、模型预训练模块、模型微调训练模块、法律文书生成模块以及评估与优化模块;
所述数据采集与预处理模块,多渠道搜集法律相关文本,并对收集的数据进行清洗、规范化和分类标注处理;
所述法律知识图谱构建模块,对法律文本进行知识抽取和知识融合与消歧操作,将处理后的信息整合获得法律领域知识图谱;
所述模型预训练模块,对选择的BERT-large架构模型进行预训练操作;
所述模型微调训练模块,针对法律文书生成任务对模型进行微调训练;
所述法律文书生成模块,接收用户输入的文书类型及相关参数信息并传递给模型,依据模型学习到的文书结构模板和法律逻辑生成法律文书初稿;
所述评估与优化模块,多维度评估法律文书初稿质量,根据评估结果优化模型并输出达标文书,同时记录生成和优化过程数据。