1.一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述方法的具体步骤如下:
Step1、对语料抽取实验所需案例描述和标签,作为实验数据;并对数据进行清洗、预处理、词向量预训练操作;
Step2、利用带注意力机制的双层LSTM从预训练的案例描述中获得可区分属性特征;
Step3、对仅做清洗的实验数据通过BERT模型获得局部重要信息特征;
Step4、将Step2步骤中获得的可区分属性特征与Step3步骤获得的局部重要信息特征进行拼接,然后在BERT模型的下游通过softmax分类器进而得到刑期预测的模型;
所述Step2具体为:
Step2.1、将预训练的案例描述中每个词所对应的词向量作为LSTM的输入;经过双层LSTM后,得到案例描述中所有词的隐层状态表示h=[h1,h2,…,hn],hn表示第n个词的隐层状态表示;
Step2.2、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h经过最大池化层,进而得到融合重要语义信息的向量表示 其中am=max(h1m,h2m,…,him,…,hnm),m∈[1,d],am表示重要语义信息向量的第m个元素值,him表示隐层状态表示hi中的第m个元素值,i∈[1,n];d表示每个h的向量维数,max表示最大值;
Step2.3、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h作为Attention的输入,来获取对案例描述有重要意义的词表示S=[s1,s2,…,sn];sn表示对案例描述有重要意义的词表示的第n个元素值;
Step2.4、将Step2.3步骤得到的重要意义的词表示S通过平均池化从而得到关键信息表示y=(y1,y2,…,ym,…,yd),ym=mean(s1m,s2m,…,sim,…,snm),m∈[1,d],ym表示关键信息表示的第m个元素值,sim表示重要意义词表示si中的第m个元素值,i∈[1,n],mean表示平均;
Step2.5、将Step2.2步骤得到的重要语义信息向量与Step2.4步骤得到的关键信息向量进行拼接操作,最后得到可区分属性特征的向量表示A。
2.根据权利要求1所述的基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述Step1具体为:Step1.1、从语料中抽取刑期预测所需的案例描述和标签作为实验数据;其中每一条实验数据由刑期标签及其对应案例描述组成;
Step1.2、对抽取的案例描述数据进行去重和无用数据的数据清洗,从而得到清洗后的实验数据;
Step1.3、把Step1.2步骤中获得的清洗后的实验数据中的案例描述做预处理;
Step1.4、采用Skip‑gram模型对预处理后的案例描述进行词向量预训练,得到案例描述中每个词的向量表示;其中,定义每条案例描述所对应词序列是x={x1,x2,…,xn},x为案n
例描述的词序列,xn表示第n个词;经过预训练后其对应的词向量为e=[e1,e2,…,en]∈R×v
,e表示每条案例描述的向量表示,en表示案例描述中第n个词的词向量,n表示案例描述中词的个数,v表示每个词向量的维数;R表示实数域。
3.根据权利要求2所述的基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述预处理具体为:采用Python第三方库中的工具包jieba完成,包括中文分词、去停用词操作。
4.根据权利要求1所述的基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述Step3具体为:Step3.1、将仅做清洗的实验数据作为BERT第一个编码层的输入,通过BERT对实验数据中的每条案例描述的头尾分别加上CLS和SEP标签,并且从0开始给每个刑期标签类进行编号,用编号替代刑期标签的文字表达;将加标签的每条案例描述通过嵌入层进而表示成向量的形式,然后分别与不同权重矩阵相乘得到第i个自注意力机制所对应的Qi、Ki、Vi三个不同的矩阵向量;其中Qi、Ki、Vi分别表示为第i个自注意力机制的查询矩阵、键矩阵、值矩阵,i表示自注意力机制的个数;其中,BERT模型中含有12个编码层,每层有12个自注意力机制;
Step3.2、将通过Step3.1步骤得到的向量Qi、Ki进行计算评分,并通过softmax进行标准化,获得案例描述中具体的某个词对其他词重要度;然后为了提取重要的局部信息,通过Step3.1步骤得到的值矩阵Vi将不相关的信息淹没,从而得到第i个自注意力机制的输出表示;
Step3.3、将Step3.2步骤中通过所有自注意力机制获得的输出表示矩阵进行拼接,然后通过全连接层得到每个编码层的输出,然后将其输出与BERT的输入进行求和,最后进行归一化操作;
Step3.4、将Step3.3步骤的输出经过前馈神经网络层,并将进行归一化处理后的输出作为下一编码层的输入;
Step3.5、除去最后一个编码层,其余每个编码层都重复以上Step3.1‑Step3.4四个步骤,到最后一编码层时,在Step3.3步骤结束后经过Pooler层提取出每个案例描述的第一个词所对应的向量表示,即标记CLS所对应的向量表示;
Step3.6、将Step3.5步骤得到的向量表示进行全连接后得到融合了局部重要信息特征的向量表示B。