1.一种基于深度学习的科技文献向量化方法,其特征在于,包括以下步骤:(1)从科技文献数据中通过负采样算法生成训练所需要的样本数据集;
(2)构建科技文献向量化深度学习网络模型;
(3)用步骤(1)生成的数据对科技文献向量化深度学习网络模型进行训练,求取模型参数,获得优化模型;
(4)用步骤(3)获得的优化模型中的嵌入层参数,作为科技文献的向量表示。
2.根据权利要求1所述的一种基于深度学习的科技文献向量化方法,其特征在于,所述步骤(1)包括以下步骤:(11)从具有引用关系的科技文献数据中抽取引用网络数据,构建科技文献网络数据集Dnet,其包含如下的信息:文献集P={p1,p2,…,pV},pi表示第i篇文献,V是文献总数;
引用序列数据集Sr={(p1,R1),…,(pV,RV)},其中,pi是某个文献,Ri是文献pi对应的参考文献;
被引序列数据集Sc={(p1,C1),…,(pV,CV)},其中,Ci是引用pi的其他文献集合;
(12)对Dnet进行数据清洗,剔除掉被引数和参考文献同时小于阈值θr,θc的数据;其中θr表示最小参考文献数阈值,θc表示最小被引数阈值(13)初始化最终数据集 对于Sr中的每条数据(pi,Ri),拆分为数据并将这些
数据加入到集合S中;其中Ri,k表示文献pi的参考文献Ri中的第k篇引文;(pi,Ri‑{Ri,k},Ri,k,
1)将作为训练的一个正样本,表示用pi和Ri‑{Ri,k}来作为模型输入,预测Ri,k时,真实标签应该为1;
‑ ‑
(14)采用负采样算法neg_sample(pi,Ri,N),来生成负样本,N表示的是每个正样本对‑应的最大负样本数,对于步骤(13)中的每个正样本,将通过负采样算法随机产生1~N个负样本。
3.根据权利要求2所述的一种基于深度学习的科技文献向量化方法,其特征在于,所述步骤(14)包括以下步骤:S1:生成负样本候选集 其中,Ei表示发表时间早于文献pi的论文集,{p|p∈(P‑Ri)∩Ei}表示的是未被文献pi引用且发表时间早于pi的科技文献;
S2:生成一个随机整数 表示关于文献pi将要实际采样的负样本数;
S3:对 计算其未归一化权重 其中,yi表示的是文献pi发表的年份;进行负采样时,对于候选集NPi中的文献,|Cj|表示的是文献pj的被引次数,0.5是平滑参数, 表示候选负样本pj和施引文献pi的发表年份差,未归一化权重和该项的平方根成反比,表示较新的文献有更多的概率被采样;分母中的1是一个平滑项;
S4:对未归一化权重w′j进行归一化处理,获取归一化的权重S5:以wj作为采样pj∈NPi的概率,从NPi中无放回的采样 个样本,记采样得到的文献为S6:采用算法 来实现将 拆分成|Ri|个子集 ti是一个大小为|Ri|的向量,子集 取集合 的前ti,1个元素, 取 的第ti,1~ti,1+ti,2个元素;算法partion(n,k,v)实现一个将大小为n的蛋糕拆分为k份,并且尽量满足每份蛋糕大小至少为v的方案;算法partion(n,k,v)具体描述如下:令r=n‑k×v;如果r≥0,定义t=[1,…,1],为一个长度为k的全1向量;否则定义t=[0,…,0],为长度为k的全0向量,并令r=n;使用多项分布 将剩余蛋糕r拆分为k份,e是一个大小为k的向量,并且满足 N表示正整数集合;令p=t+e,并将p作为结果返回;
S7:对于步骤S6中的每个子集 中的每个文献pk,将(pi,Ri‑{Ri,j},pk,0)作为负样本加入到最终数据集S中;
S8:将S按照6:3:1的比例随机拆分为Strain,Sval,Stest,分别作为训练集、验证集和测试集。
4.根据权利要求1所述的一种基于深度学习的科技文献向量化方法,其特征在于,所述步骤(2)包括以下步骤:(21)构建一个嵌入尺寸为512的嵌入层E1,用以将离散的文献表示为稠密向量;
(22)构建一个注意力层,对于训练样本(pi,Ri‑{Ri,k},pj,label∈{0,1}),使用文献pi的嵌入表示向量作为查询向量,对序列Ri‑{Ri,k}的嵌入表示向量做attention,输出的是和pi嵌入表示一样尺寸的向量;该注意力层实现了对Ri‑{Ri,k}中文献嵌入表示的加权平均,记该注意力层的输出为oi;
(23)对pi的嵌入表示构建一个全连接层L1,记该全连接层的输出为ci;
(24)对oi构建一个全连接层L2,记该全连接层的输出为qi;
(25)构建一个嵌入尺寸为512的嵌入层E2,将pj输入该嵌入层,记输出为tj;
(26)记si=ci+qi,构造一个网络层,参数为W,实现 并采用sigmoid作为激活函数,激活函数的输出表示pj应该被pi引用的概率。
5.根据权利要求1所述的一种基于深度学习的科技文献向量化方法,其特征在于,所述步骤(3)包括以下步骤:(31)将Strain中的样本顺序打乱;
(32)采用无放回随机采样方法,从乱序的Strain中抽取batch_size=512个样本作为一个批次来训练模型,直到训练集中数据被全部采样完;
(33)对于每一个批次的样本,对模型进行前向计算;对于训练样本(pi,Ri‑{Ri,k},pj,label),模型前向运算输出的是P(pj∈Ri|pi,Ri‑{Ri,k}),即预测pj在pi的参考文献中的概率,其含义是给定了一篇文献pi和该文献的若干篇参考文献Ri,预测任意一篇文献pj被pi引用的概率;
(34)使用二元交叉熵损失函数计算训练损失;
(35)对模型进行反向传播,计算梯度;
(36)用Adam优化算法根据反向传播的梯度来更新模型参数;
(37)每轮训练结束时,将训练的模型保存;
(38)每隔5~10轮,采用验证数据集Sval来计算平均验证损失,并记录该轮的训练损失;
根据训练损失和验证损失的曲线图,判断模型是否训练成功;如果该轮的训练损失和验证损失达到要求,则提前结束训练。
6.根据权利要求1所述的一种基于深度学习的科技文献向量化方法,其特征在于,所述步骤(4)实现过程如下:将优化后的科技文献向量化深度学习网络模型的嵌入层E1中,参数 的第i行表示的是一个大小为D的向量,对应文献pi的稠密向量表示。