1.一种基于残差跳跃连接的门控循环单元的文本分类方法,其特征在于,包括以下所述步骤:
步骤1,定义数据集的词汇表并将词汇表的文本数据进行预处理,去除文本中的不规范数据;
步骤2,将步骤1得到的文本信息进行门控循环单元神经网络建模;
步骤3,设置门控循环单元神经网络的全连接层以及分类层;
步骤4,为门控循环单元神经网络的表示中建立残差跳跃连接并引入高速公路网络门限控制方法;
步骤5,将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数;
步骤6,设置残差跳跃连接的门控循环单元神经网络的权重初始化方式为正交初始化;
步骤7,为残差跳跃连接的门控循环单元神经网络设置批标准化;
步骤8,设置残差跳跃连接的门控循环单元神经网络的超参数;
步骤9,配置残差跳跃连接的门控循环单元神经网络的损失函数以及优化器;
步骤10,结合步骤1得到的文本信息,使用残差跳跃连接的门控循环单元神经网络进行文本分类。
2.如权利要求1所述的方法,其特征在于,步骤1包括:定义数据集的词汇表,包括统计单词的出现频率和按词频顺序对单词进行排序;
将数据集分为训练集和测试集,训练集包括训练数据;在定义词汇表后,将训练数据转化成单词的数字编号;
对训练数据进行批处理,使用填充的方法,即将同一批块内的句子长度补齐;
定义词向量层:在输入层,每个单词用一个实数向量表示,所述实数向量称为词向量,使用Word2Vec方法对文本进行向量化操作。
3.如权利要求2所述的方法,其特征在于,步骤2包括:建立门控循环单元的循环神经网络的前向算法:建立更新门和重置门,设zt和rt分别为更新门向量和重置门向量,xt为当前层的t时刻的输入值,Wz和Wr为模型参数,即权重向量,Uz、Ur、Ua为输入时序信息的权重,ht‑1为前一时刻的状态向量,bz和br为偏置向量;更新门向量和重置门向量计算公式如下:zt=σ(Wzxt+Uzht‑1+bz)rt=σ(Wrxt+Urht‑1+br)式中,σ为Sigmoid激活函数,Sigmoid激活函数Sigmoid(x)的计算公式如下:其中,x为函数输入;e为自然常数;
使用如下门控循环单元的输出公式:at=g(Waxt+Ua(ht‑1*rt)+ba)ht=zt*at+(1‑zt)*ht‑1式中,at是t时刻的候选隐状态,ht为当前时刻t的隐状态向量,候选隐状态的激活函数g(·)为Tanh,Wa为模型权重参数;
其中,Tanh激活函数Tanh(x)的计算公式如下:式中,x为函数输入。
4.如权利要求3所述的方法,其特征在于,步骤3包括:在门控循环单元神经网络之后需要接全连接层来修正神经元输出值的维度,全连接层公式如下:
f=Wyh
式中,Wy为维度匹配矩阵;h为网络最后一层的神经元输出;f为全连接层输出值;
在全连接层之后需连接分类层进行分类,通过如下归一化指数函数S(f)j公式进行分类处理:
式中,N为类别数;fj表示f的第j元素,j的范围为1到N;fn表示f的第n元素,n取值为1到N。
5.如权利要求4所述的方法,其特征在于,步骤4包括:在门控循环单元结构的时间轴方向和空间轴反向上建立残差的跳跃连接,引入高速公路网络的门控限制,公式定义如下所示:l l l l l
ht=(1‑zt)⊙ht‑1+zt ⊙atl l l l l
Ht=T(x) ⊙ht+C(x) ⊙ht‑α式中,⊙表示矩阵的点乘运算,l表示堆叠层数, 为l层的t时刻的输入值, 和为l层的模型参数,即权重向量, 和 为l层输入时序信息的权重, 和 分别l
为门控循环单元在l层的更新门、重置门和候选隐状态, 为前一时刻的状态向量,V是l层的维度匹配矩阵,当网络前后层维度一致时,则不需要维度匹配矩阵, 是l层未激活l l
的候选隐状态,g(·)为激活函数, 为l层t时刻的输出状态,T(x) 与C(x) 是高速网络的门控限制;ht‑α表示在时间轴方向上建立残差连接,α表示神经元个数, 为l层在t时刻的最终输出向量。
6.如权利要求5所述的方法,其特征在于,步骤5包括:将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数ReLU,得到l层t时刻的输出公式为:
式中, 为l层t时刻的输出状态, 为l层高速网络的门控限制,g(·)为ReLU激活函数,公式如下:
其中,x为函数输入值。
7.如权利要求6所述的方法,其特征在于,步骤6包括:正交初始化是将权重参数W、Wf、Wr的初始值初始化为单位正交矩阵,单位正交矩阵A需满足如下条件:
A为正交矩阵;
T
A的转置A为正交矩阵;
T
AA=E,E为单位矩阵;
A的各行是单位向量且两两正交;
A的各列是单位向量且两两正交;
(Ax,Ay)=(x,y),x,y都为常数;A是正交矩阵;
|A|=1或‑1;
A的维度为权重所在的神经网络层的神经元个数。
8.如权利要求7所述的方法,其特征在于,步骤7包括:批标准化公式如下:
2
其中, 为输入值zi经过标准化之后的新输入值;σ为方差;μ为均值;m为输入的维度;
‑8
参数ε等于10 。
9.如权利要求8所述的方法,其特征在于,步骤9包括:针对残差跳跃连接所设计的连接项即单元状态的反向传播有如下推导:推导误差项之前的部分设定及公式:ReLU函数的导数ReLU(x)′和Sigmoid函数的导数Sigmoid(x)′分别为:Sigmoid(x)′=Sigmoid(x)(1‑Sigmoid(x))式中,x为输入值,符号′为求导符;
对残差跳跃连接的门控循环单元神经网络的单元状态公式进行等效替换,令:F(m)=Waxt+Ua(ht‑1⊙rt)+ba式中,Wa为权重向量,Ua为输入时序信息的权重,ba为偏移量;F(m)是一个代数符号;
设定当前状态时刻为t,设l为计算的误差项 所在层数,P为当前网络层数,则有:式中, 表示在P层未激活的候选隐状态, 表示在l层未激活的候选隐状态;
对 求 的偏导,得到:
式中,为求偏导符号,I表示单位矩阵;
得出单元状态的第l层的误差项 为:上式中, 表示激活后的候选隐状态,Et表示在t时刻的误差, 表示P层t时刻的隐状态向量,I表示单位矩阵, 为P层重置门限。