1.融入标签信息的案情要素识别方法,其特征在于:所述方法的具体步骤如下:Step1、对数据集的标注要素数据进行预处理,通过构建的正则表达式提取出裁判文书中的事实和理由部分,同时对标注的标签进行重名替换,并按照比例划分数据集;
Step2、通过在民事裁判文书上预训练的BERT模型获得裁判文书事实描述、要素属性表示和要素标签表示;利用CNN对裁判文书事实描述进行特征提取;利用本步骤中的上述两步获得输入的编码表示,包括要素属性表示、要素标签表示、裁判文书的事实描述的特征表示;
Step3、将获得的要素属性表示、要素标签表示分别与裁判文书的事实描述表示进行融合,最终按照要素属性得到对该属性下要素标签不同关注度的特征向量;
Step4、特征向量被送入不同属性对应的分类器,经分类器计算得到每一个属性下各标签的概率作为输出;
所述Step3的具体步骤如下:
Step3.1、基于多标签文本分类的要素识别,通常直接利用文本编码表示识别要素标签,难以将标签完整识别出来,将类别属性的编码表示的行向量分别与事实描述的特征表示向量融合,融合过程如下:(1)加权特征:将事实描述特征表示与类别属性表示对位相加,通过公式(10)对两者加权;
h′=αh+βha (10)
上式表示两种表示在词向量维度d上以预先设置的权值α,β按比例进行相加;
(2)特征转化:将特征表示送入前馈神经网络,进一步融合,利用这种方式将稀疏的特征整合,通过网络参数学习来提升表示能力,其过程表示为公式(11);
Step3.2、Step3.1公式(11)中的Wl为参数矩阵,bl为偏置项,转化后的特征表示记作将所有属性与事实描述融合后的特征表示连接得到矩阵融合了属性信息的表示分别与对应属性下的标签集合基于注意力机制加权,整个过程如下:(1)截取标签集:经BERT编码后的标签矩阵包含了所有标签的表示,根据属性对应的标签集长度从标签矩阵上截取出m个子集矩阵,属性ai,其对应的标签集共包含li个标签,则li个标签向量表示构成了属性ai的标签矩阵(2)计算注意力得分:融合了属性信息的表示与该属性下的标签集分别计算注意力分数,注意力得分显性地展示了文本对不同交互对象的关注程度,基于软注意力机制通过计算融合属性的表示与各标签向量之间的点积来计算注意力分布,计算过程如公式(13)-(14)所示;
(3)加权标签信息:基于公式(14)得到的注意力分数对标签集加权,得到最终的整合向量,如公式(15)所示;
hoi=∑αaiYai (15)
表示第i个属性对应的标签集与事实描述融合后的输出,该整合向量融合了特定属性的信息并对该属性下的标签给予了不同的关注度,用做分类器的输入。
2.根据权利要求1所述的融入标签信息的案情要素识别方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、对每一篇裁判文书,利用正则表达式来提取裁判文书的主体部分,具体而言就是裁判文书中的事实和理由部分;
Step1.2、对标签信息进行重名替换,将表述一致的标签进行修改,加上该标签对应的属性名字;
Step1.3、CAIL2019-SCM标注要素数据按照8:1:1进行划分,分别设为训练集、验证集、测试集。
3.根据权利要求1所述的融入标签信息的案情要素识别方法,其特征在于:利用基于BERT和CNN构造的编码模块获得要素属性表示、要素标签表示、裁判文书的事实描述表示,所述步骤Step2的具体步骤如下:Step2.1、利用民事裁判文书预训练的“民事BERT”同时对事实描述、要素类别属性、要素标签三部分文本进行编码,输入的文本经词表转化为对应的id表示,id表示经BERT编码后输出,其过程抽象为公式(1)-(3)所示;
HX=BERT(X)(1)
HA=BERT(A)(2)
HY=BERT(Y)(3)其中n表示事实描述文本序列的长度,m表示类别属性总个数,s表示标签集所包含的标签总个数,d代表词向量维度;
Step2.2、对于属性和标签的表示,将每一个属性标签的字符向量ati、yti平均后得到该属性、标签的编码表示,ti表示第i个字符,la、ly分别表示某一属性、某一标签所含的字符个数,详细计算见公式(4)-(5);
上式中即为类别属性、要素标签的编码表示,即为类别属性集合和标签集合的BERT编码后的最终结果;
Step2.3、利用CNN构成的特征提取网络来对事实描述序列进行特征提取,对于裁判文书经由BERT编码的输出通过公式(6)来对其中的文本表示向量卷积;
Ci=f(W·Xi:i+h-1+b)(6)上式的含义是文本矩阵由n个词的向量表示x组成,一个与编码层维度长宽度为h的卷积核,自上而下地与卷积核窗口内的词做卷积,式子中的W为卷积核中的参数矩阵,b是一个偏置项,f为非线性函数,使用ReLU函数代替,得到特征Ci;在窗口大小为h的卷积作用下,得到的特征图如公式(7)所示;
C=[C1,C2,...,Cn-h+1](7)
在池化层对特征图进行最大池化操作,如公式(8)所示;每一种长度为h的卷积,设置m个,则该种卷积核卷积得到的最终池化后的特征图为一个m维向量;将多种窗口大小不同的卷积核卷积得到的向量拼接后得到最终的特征向量,事实描述表示矩阵的整个特征提取的过程概括为公式(9),其中特征向量h=CNN_Pooling(HX)(9)。
4.根据权利要求1所述的融入标签信息的案情要素识别方法,其特征在于:所述Step4的具体步骤如下:Step4.1、对每一个类别属性下的标签单独预测,为每一个整合向量ho基于全连接网络和softmax函数构建分类器,整合向量经全连接层映射为与标签集长度一致的向量,再经过softmax函数转化为对应的概率表示,整个过程如公式(16)所示;
其中表示在某一属性下,整合向量ho属于标签y的概率,l表示该属性对应的标签集所含标签的个数,Ws为全连接层用于标签映射的参数矩阵;
Step4.2、根据标签的概率分布和真实标签利用交叉熵来计算第i个属性的损失,计算公式为(17);
则样本的(Xi,Yi)的损失由所有属性的损失求和平均得到,如公式(18)所示,最终通过反向传播总的样本损失来对每一个分类器进行迭代优化;
Step4.3、整个模型训练过程采用选用AdamW来作为优化器,隐藏层维度d=768,支持的最大序列长度512个字符,批次大小batch-size设置为6,初始学习率为2e-5,学习率的调整采用固定步长减小。