欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103360101
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种文本语义匹配长度偏差优化方法,其特征在于,包括以下步骤:S1、利用每个样本中文本对的长度差异偏差生成对抗测试集;

利用原始训练集训练文本匹配相似度预测模型;

S2、利用文本匹配相似度预测模型输出的词向量训练文本长度差异预测器,所述文本长度差异预测器包括编码器和与所述编码器连接的全连接层;

S3、将所述文本匹配相似度预测模型作为主模型,将经步骤S2训练后的文本长度差异预测器作为对手模型;在主模型的损失函数中加入对手模型的损失函数,通过所述主模型和对手模型的对抗,优化所述主模型,得到第一优化模型;或者,在主模型的损失函数中添加扰动,通过所述主模型和对手模型的对抗,优化所述主模型,得到第二优化模型;

S4、重复步骤S2和步骤S3,利用所述对抗测试集测试第一优化模型和第二优化模型;

S5、从第一优化模型和第二优化模型中选择性能更优的模型作为最终的文本匹配模型;

步骤S2的具体实现过程包括:

A)计算原始训练集中每个样本的长度差异值,将所有长度差异值的值域分为M个区间,为每个长度差异值分配一[0,M-1]中的整数作为其标签;

B)使用BERT预训练模型提供的词表,将原始训练集中的样本S*的两个文本分词化,将分词化后的结果T1′和T2′加入BERT预训练模型的token中,得到输入input={[CLS],T′1,[SEP],T′2,[SEP]},[CLS]放在句首作为整个句子的句向量,[SEP]放在句尾作为句子的结束;

C)将input作为文本匹配相似度预测模型encoder层Menc的输入,获得样本S*的句子向量表示h;

D)将所述句子向量表示h作为全连接层的输入,得到句子向量表示h对应样本S*关于长度差异值属于[0,M-1]中每个标签的概率C;

E)计算概率C和样本S*的真实标签的损失,反向传播所述损失,更新全连接层的权重;

F)对原始训练集中的所有样本,重复上述步骤D)和步骤E),得到文本长度差异预测器;

或者,

步骤S2的具体实现过程包括:

A)计算原始训练集中每个样本的长度差异值,将所有长度差异值的值域分为M个区间,为每个长度差异值分配一[0,M-1]中的整数作为其标签;

B)使用BERT预训练模型提供的词表,将原始训练集中的样本S*的两个文本分词化,将分词化后的结果T1′和T2′加入BERT预训练模型的token中,得到输入input={[CLS],T′1,[SEP],T′2,[SEP]},[CLS]放在句首作为整个句子的句向量,[SEP]放在句尾作为句子的结束;

C)将input作为文本匹配相似度预测模型encoder层Menc的输入,获得样本S*的句子向量表示h;

D)将所述句子向量表示h作为全连接层的输入,得到句子向量表示h对应样本S*关于长度差异值的预测值V;

E)计算预测值V和样本S*的真实标签的损失,反向传播所述损失,更新全连接层的权重;

F)对原始训练集中的所有样本,重复上述步骤D)和步骤E),得到文本长度差异预测器。

2.根据权利要求1所述的文本语义匹配长度偏差优化方法,其特征在于,步骤S1中,利用每个样本中文本对的长度差异偏差生成对抗测试集的具体实现过程包括:计算原始测试集中每个样本S的长度差异值,对所有的长度差异值按照从大到小的顺序排序,得到排序后的测试集D′test;

将测试集D′test中的数据划分为前后两部分,前部分数据集合为D′front,后部分数据集合为D′back,D′front中的所有样本设定为负样本集合,D′back中的所有样本设定为正样本集合,所述负样本集合和正样本集合的并集即为对抗测试集。

3.根据权利要求2所述的文本语义匹配长度偏差优化方法,其特征在于,样本S的长度差异值的计算公式为:其中,LT1、LT2分别为样本S中两个文本T1、T2的长度,为样本S中两个文本T1、T2的长度差异值。

4.根据权利要求1所述的文本语义匹配长度偏差优化方法,其特征在于,步骤S1中,利用原始训练集训练文本匹配相似度预测模型的具体实现过程包括:

1)使用BERT预训练模型提供的词表,将原始训练集中的样本S*的两个文本分词化,将分词化后的结果T1′和T2′加入BERT预训练模型的token中,得到输入input={[CLS],T′1,[SEP],T′2,[SEP]},[CLS]放在句首作为整个句子的句向量,[SEP]放在句尾作为句子的结束;

2)将input输入文本匹配模型,得到原始训练集中的样本S*的两个文本相似的概率P;

计算概率P和样本S*的真实标签的损失,反向传播所述损失,更新文本匹配模型的权重;

3)对原始训练集中的所有样本,重复上述步骤1)和步骤2),并利用所述对抗测试集验证更新权重后的文本匹配模型,得到最终的文本匹配相似度预测模型。

5.根据权利要求1所述的文本语义匹配长度偏差优化方法,其特征在于,步骤S3中,获取第一优化模型的具体实现过程包括:将原始训练集中第i个样本Si的长度差异值的标签修改为:

M为所有长度差异值的值域划分的区间数;

将主模型中的全连接层对应的损失函数Lossmain与对手模型对应的损失函数Lossbias相加,并引入平衡参数β,构建最终的损失函数Loss为:Loss=βLossmain+(1-β)Lossbias;

利用最终的损失函数Loss训练所述主模型,得到第一优化模型。

6.根据权利要求1所述的文本语义匹配长度偏差优化方法,其特征在于,步骤S3中,获取第二优化模型的具体实现过程包括:使用BERT预训练模型提供的词表,将原始训练集中的样本S*的两个文本分词化,将分词化后的结果T1′和T2′加入BERT预训练模型的token中,得到输入input={[CLS],T′1,[SEP],T′2,[SEP]},[CLS]放在句首作为整个句子的句向量,[SEP]放在句尾作为句子的结束;

将样本S*对应的输入input经过主模型的编码器输入对手模型,得到预测值,计算所述预测值和样本S*的真实标签的损失;

利用所述损失对所述主模型的编码器的输出h求偏导,获得梯度LD为样本S*的长度差异值,V为LD的预测值,Lossbias为V和LD用损失函数计算得到的损失,为关于h的偏导;

再次将样本S*对应的输入input输入主模型的编码器,得到句子向量,将句子向量修改为h+δ,并将修改后的句子向量输入至主模型的全连接层,计算文本匹配概率;∈用来控制扰动强度,‖·‖为Frobenius范数;

计算所述文本匹配概率和样本S*的真实标签的损失,反向传播后更新所述主模型的权重,得到第二优化模型。

7.一种电子设备,其特征在于,包括:

一个或多个处理器;

存储器,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1~6任一项所述方法的步骤。

8.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~6任一项所述方法的步骤。