欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021108439375
申请人: 江西理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多视角编码器的法律判决预测系统,其特征在于,包括:表示学习模块、特征学习模块、融合模块、预测概率分布模块;

表示学习模块用于获取案例和法律条文的文本特征;

所述特征学习模块用于对所述案例的文本特征进行特征学习,获得所述案例的文本特征的不同表示;

所述融合模块用于将所述案例的文本特征的不同表示与所述法律条文的文本特征进行融合,获得案例综合描述;

所述概率分布模块基于所述案例综合描述获得法律判决的预测概率分布;

所述特征学习模块包括编码器;所述编码器包括DAN编码器、词‑句编码器、Transformer编码器;所述编码器采用注意力分布学习和特征学习;

所述词‑句编码器对案例描述的特征学习过程为:S11、将给定案例的案例描述S={s1,s2,…,sn}视为整个句子序列,其中n为句子长度,之后将Word2Vec中的CBOW模型应用到预训练词嵌入中,得到训练好的词向量模型,然后将每个词si转换为嵌入向量 其中R是实数,d是词嵌入的维数, 表示实数域上的d维向量,得到一组案例描述的词嵌入向量{x1,x2,…,xn},每个嵌入向量xi将输入进BiLSTM并得到前向隐藏层表示 和反向隐藏层表示S12、将前向隐藏层表示 和反向隐藏层表示 合并得到最终隐藏层表示 一组案例描述的隐藏层表示为

S13、案例描述的隐藏层表示 经过TimeDistributed得到新的表示{e1,e2,…,en};

S14、根据{e1,e2,…,en}计算注意力分布,注意力权重为αi,注意力层的输出是上下文表示的总和,由它们的注意权重加权,表示为r,公式如下:ui=tanh(Wuei+bu)其中Wu和U是权重矩阵,bu是隐藏层的偏移向量,ei是S13中案例描述的新的表示;

S15、将r输入到最大池化层,得到注意力表示g=[g1,g2…,gn],公式如下:其中,r为注意力层的输出,是一个二维向量,两个下标对应两个维度,r1,i的前一下标值∈[1,n],后一个下标值i∈[1,dg],dg是隐藏层的维度;

S16、全连接层和最大池化层提取关键词信息,并将提取的信息与案例描述注意力表示g合并,最后通过全连接层提取合并后的信息,得到融合法条概念关键词的案例描述信息Ic,计算公式如下:

Im=concat(max(swish(WmMc+bm));g)Ic=swish((WCIm+bC)式中,Im为定义的融合法律概念关键词的案例描述信息Ic的中间变量,concat本领域常用数组组合函数,Mc为法条概念C的词嵌入表示,Wm为Mc的隐藏层的权重矩阵,bm为Mc的隐藏层的偏移变量,g为注意力表示,WC为Im的隐藏层的权重矩阵,bC为Im的隐藏层的偏移变量;

所述Transformer编码器对案例描述的特征学习过程为:S21、由词向量集合{x1,x2,…,xn}计算得到单词的位置向量集合PE,位置向量集合PE与词向量集合{x1,x2,…,xn}相加得到最终的位置向量{p1,p2,…,pn};

所述PE的位置向量计算公式为:

2k/d

PE(i,2k)=sin(i/10000 )

2k/d

PE(i,2k+1)=cos(i/10000 )式中,i表示该词在案例描述中的位置,2k表示偶数维度,2k+1表示奇数维度;

S22、将位置向量{p1,p2,…,pn}输入Transformer编码器,将词向量集合{x1,x2,…,xn}拼接得到案例描述矩阵P,案例描述矩阵P与三个随机初始化的矩阵W相乘得到查询矩阵Q,键值K,值V,将查询矩阵Q,键值K的相似程度更新案例描述的自注意力矩阵V;

所述自注意力公式计算如下:

Q K V

Q=WP,K=WP,V=WP

式中, 分别表示查询、键值、值的权重矩阵;dk是查询矩阵Q和键值K的维数;Hi代表多头注意力中的第i个;

S23、将多个自注意力头拼接得到多注意力,所述多注意力计算公式如下:Z=MultiHead(Q,K,V)=[H1;H2;...;Hh]W式中, 为多头注意力的权重矩阵;

S24、通过相加和归一化层,前向反馈网络向后传递信息,计算公式如下:N=LayerNorm(P+Z)FeedForward(N)=max(0,ReLU(NWf+bf)Ws+bs)M=LayerNorm(N+FeedForward(N))式中,P为案例描述矩阵P,Z为多注意力,N为P和Z相加后进行归一化;Wf是关于N的隐藏层的权重矩阵,Ws是关于NWf+df的隐藏层的权重矩阵,bs是关于N的隐藏层的权重矩阵的偏移向量,bf是关于NWf+df的隐藏层的权重矩阵的偏移向量;

S25、将归一化结果M={m1,m2,…,mn}输入最大池化层,得到Transformer编码器表示L=[l1,l2,…,ln],计算公式如下:式中,m为归一化结果M中的一个二维向量,两个下标对应两个维度,m1,i的前一个下标值∈[1,n],后一个下标i∈[1,dl],dl为隐藏层的维度;最后我们在通过全连接层提取信息,得到最终输出J,J是L再经过全连接层的输出,计算公式如下:J=swish(WtL+bt)

式中,Wt和bt为全连接层的权重矩阵和偏差向量;

所述DAN编码器对案例描述的特征学习过程为:S31、对于案例描述词向量{x1,x2,…,xn},DAN编码器将所有词向量相加并求平均值X;

利用全连接层从X中提取深层信息,并产生输出向量D;

所述Transformer编码器注意力权重计算公式如下:式中,WJ是J的隐藏层的权重矩阵,bJ是J的隐藏层的偏差向量,WD是D的隐藏层的权重矩阵,bD是D的隐藏层的偏差向量, 是Ic的隐藏层的权重矩阵, 是Ic的隐藏层的偏差向量,qc是注意力查询向量,αJ表示Transformer编码器的注意力权重;

采用所述Transformer编码器注意力权重计算公式计算DAN编码器注意力权重αD、词‑句编码器注意力权重

将不同视角的注意力权重加和得到案例描述的最终表示It,计算公式如下:注意力分布学习的具体过程为:将DAN编码器、词‑句编码器、Transformer编码器的注意力权重进行加权,并求和,完成注意力分布学习。

2.根据权利要求1所述的基于多视角编码器的法律判决预测系统,其特征在于,所述法律条文的文本特征包括法条概念和处罚刑期。

3.根据权利要求1所述的基于多视角编码器的法律判决预测系统,其特征在于,所述预测概率分布包括罪名预测、相关法条预测、处罚刑期预测。