欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021106282410
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-03-25
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Attention机制的参考文献引用合法性预测方法,所述的引用合法性,是指目标文章中所提到的参考文献是否在文章中得到合法引用;其特征在于:将目标文章的单词序列[w1,w2,w3,…,wn]通过时间编码和位置编码后传入到Attention机制中,计算得到查询矩阵Query和键矩阵Key;使用pytorch.Embedding方法对需要检查引用合法性的文献全文的单词序列[s1,s2,s3,…,sn]进行编码得到编码后的值矩阵Value;利用查询矩阵Query、键矩阵Key和值矩阵Value计算Attention值;将计算过的Attention值通过一个全连接层进行线性变换;最后将线性变换后的结果输入到sigmoid层中计算出最后的合法性概率;具体步骤如下:步骤1:将目标文章的单词序列[w1,w2,w3,…,wn]输入进行时间编码,得到编码过后词向量矩阵A;

步骤1.1:定义只含正文内容的目标文章的单词序列为src_vocab;

步骤1.2:对输入的单词序列进行位置编码,将每个单词的位置信息传递到词向量矩阵A中;

步骤2:利用Attention机制对词向量矩阵A进行两次线性变换,得到查询矩阵Q,键矩阵K;具体方法为:步骤2.1:定义一个矩阵W

步骤2.2:将所有的q

步骤2.3:定义一个矩阵W

步骤2.4:将所有的k

步骤3:对需要预测的参考文献的单词序列r

步骤3.1:定义参考文献数据集为Reference,数据集Reference根据篇名进行划分,分别对应每篇参考文献的单词序列;其中,Reference=[r

r

u∈[1,m];

步骤3.2:对参考文献进行初始化字编码,得到一个高维度值矩阵V;

步骤4:对得出的查询矩阵Q、键矩阵K和值矩阵V计算相应的Attention值,得到注意力值矩阵D;具体方法为:步骤4.1:将步骤2.2中的查询矩阵Q与步骤2.4中的键矩阵K的转置K步骤4.2:使用维度的根号

步骤4.3:使用Softmax对步骤4.2的结果进行数值转换;

步骤4.4:将步骤4.3的结果与值矩阵V相乘得到最后的注意力值矩阵D;

步骤5:通过一个全连接网络对注意力值矩阵D进行线性变换,得到变换形状后的矩阵N;具体方法为:步骤5.1:定义一个全连接层,其形状为[in_features,out_features];

步骤5.2:将步骤4.4的结果注意力值矩阵D经过步骤5.1的全连接层进行线性变换得到矩阵N;

步骤6:通过Sigmoid激活函数对矩阵N进行激活,得到一个值在(0,1)之间的一维矩阵S,根据S得出最后的预测结果y。

2.根据权利要求1所述的基于Attention机制的参考文献引用合法性预测方法,其特征在于,所述步骤6的具体方法为:步骤6.1:定义一个使用Sigmoid函数的激活层;

步骤6.2:将步骤5.2的结果N输入到激活层中,得到含有概率的最终预测结果y。