欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021110785022
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合分段编码与仿射机制的相似案例匹配方法,其特征在于:

所述方法的具体步骤如下:

Step1、对裁判文书进行预处理,利用结巴分词工具对裁判文书分词,对分词后的结果去除停用词和空字符,将处理后的裁判文书中的词转化为对应索引;

Step2、通过词嵌入获得裁判文书的嵌入表示,将文本的嵌入表示当作分段编码层的输入,对若干篇裁判文书分别利用自注意力机制获得各自的加权表示,将加权后的表示矩阵根据自身的长度和预先设置的阈值切分成若干段,对每一段利用单独的CNN来进行编码,最终获得若干篇裁判文书各自的特征矩阵;

Step3、将获得的特征矩阵送入仿射打分器进行交互并获得两个相似性得分,根据相似性得分来计算最终的输出概率,即对应标签的概率;

所述Step2的具体步骤如下:

Step2.1、通过预训练的300维的词向量获得裁判文书的嵌入表示,具体地对于长度为q的裁判文书a={a1,a2,...,aq},利用预训练的词向量来得到每一个词ai的固定d维的向量q×d n×d m×d表示,整个文档a就表示为一个矩阵A∈R ,同样的裁判文书B∈R 和裁判文书C∈R ;

Step2.2、在获得每一篇裁判文书的表示矩阵之后,使用自注意力机制来对文档中的每一个词进行加权表示,具体而言对于裁判文书a首先将其文本嵌入矩阵M通过三次不同的线性变换转换为三个维度同样为d的矩阵Q(Query)、K(Key)和V(Value),将三个矩阵利用公式(1)进行计算得到新的矩阵表示,经过Self‑Attention后文档中的每一个词的向量表示都是对文档其余所有词感知的一个向量;

q×d

其中Q,K,V∈R ,d表示经过线性变换后词向量的维度,除以 用于避免Q与K的内积过大,对裁判文书b、c采用同样方式获得新的表示;

Step2.3、分段编码层的输入是来自于Step2.2的文本嵌入矩阵M={v1,v2,...,vl},其中vi表示第i个词的向量,A={va1,va2,...,vaq}、B={vb1,vb2,...,vbn}、C={vc1,vc2,...,vcm}即为三篇裁判文书的嵌入矩阵,首先利用公式(2)~(7)对文本矩阵进行编码:p=len(A)/5,margin (2)

m1=Encoder1(M1),M1=M[v1:vp] (3)m2=Encoder2(M2),M2=M[vp‑margin:v2p+margin] (4)m3=Encoder3(M3),M3=M[v2p‑margin:v3p+margin] (5)m4=Encoder4(M4),M4=M[v3p‑margin:v4p+margin] (6)m5=Encoder5(M5),M5=M[v4p‑margin:vl] (7)公式(2)~(7)的含义是,给定文本的嵌入矩阵M,将文本矩阵分成5段,首先由公式(2)计算每一段的基本长度p,再定义一个阈值margin用来控制段与段之间重合的词的个数,这样根据p和margin从原始嵌入矩阵M上截取到不同长度的五个矩阵Mi,对于每一部分分别将其通过五个编码器编码成固定的向量mi,使用CNN作为编码器,与图像上的编码方式不同,l×d对于矩阵Mi∈R ,l′为矩阵Mi中包含的词的个数,使用t个宽度分别为h1、h2、h3、h4,长度与词向量维度一样为d的卷积核以步长为1对此嵌入矩阵进行卷积操作,对于某一个宽度h的卷积核而言卷积操作具体如公式(8)所示;

ci=f(ω·xi:i+h‑1+b),(i=1,2,...,l′‑h+1)  (8)其中xi:i+h‑1表示输入矩阵第i个词到第i+h‑1个词向量所组成的一个大小为h×d的窗口,ω为一个大小为h×d的权重矩阵,b是一个偏置,f是一个非线性函数,卷积核通过自上而下移动对矩阵进行卷积得到l′‑h+1个特征c;在卷积之后将这些特征拼接后得到最后的特征图C=[c1,c2,...,cl′‑h+1],再对特征图进行最大池化操作得到最后的特征c′,由于卷积核使用了4种不同的宽度,每种宽度有t个,最终得到的编码后的特征向量mi的维度为1×

5×4t

4t;将这5个固定的编码向量mi进行拼接后得到一个编码后的特征矩阵M′∈R ,三篇裁判文书的特征矩阵分别为DA、DB、DC;

所述Step3的具体步骤如下:

Step3.1、将获得的特征矩阵DA、DB、DC,利用公式(9)、(10)来计算文本B和C相较于文本A

5×5 5×5

的相似得分,其中Scoreab∈R 、Scoreac∈R 是两个得分矩阵,矩阵中的每一行分数代表A的第i部分对候选文书的每一部分的打分;

1 k×k

将上式称为仿射变换,利用了一个变换矩阵U ∈R ,对查询文书A进行线性变换后来

2 k

代替权重矩阵W,其中k为分段编码层的输出维度,而对于偏置b使用了一个变换矩阵U∈R×5来对A进行线性变换后代替,这样在保留了分类器中一定可学习参数的同时与查询文书产生了更多的交互;

Step3.2、将Step3.1得到的得分矩阵中所有分数相加作为候选文书B和C的最后得分Scoreb、Scorec,对于打分器输出的分数矩阵Scoreab、Scoreac,将得分为负的部分通过ReLU函数将其置为0,最后将每一个维度相似得分进行相加,具体如公式(11)、(12)所示;

在计算得到总分数后,通过公式(13)来计算概率pi,pi∈(0,1)来作为预测结果输出,其中Scoreb>0、Scorec>0,当候选文档B相似得分越高pi越大,相反候选文档C得分越高pi越小;

整个过程采用端到端的方式来完成训练,使用交叉熵来作为损失函数。

2.根据权利要求1所述的融合分段编码与仿射机制的相似案例匹配方法,其特征在于:所述Step1的具体步骤为:

Step1.1、对每一篇裁判文书,利用正则表达式来提取裁判文书中的实体信息,将这些实体加入结巴分词的用户词典中后对裁判文书进行分词,将分词后的结果进行清理,包括停用词去除、空字符去除;

Step1.2、根据分词的结果构造词典,为每一个词设置唯一的ID,通过查询的方式获得每一个词的索引值,将裁判文书转化为数值表示。