1.多因子进化算法优化神经网络模型的语言识别方法,其特征在于,包括以下步骤:S1、在数据集中嵌入外部知识库,生成混合数据进行数据增强;
S2、利用预训练的词向量模型对原始数据进行词嵌入、正则化处理,对处理结果进行标准化以获取标准训练数据集;
S3、利用多因子进化算法对神经网络模型进行超参数优化;
采用多因子进化算法优化所述神经网络模型的输入熵值、输入权值、隐含层数量、隐含层节点数和学习率;除当代最优个体外的其他个体根据当代最优个体的位置和种群的全局最优位置进行调整,具体步骤包括:
1)生成N个初始个体,每个个体由位置向量和速度向量组成;对于种群中的第i个个体,其位置向量为其中表示输入熵值,表示输入权值,表示隐含层数量,表示隐含层节点数,表示学习率;其速度向量为其中和均为[-2,2]间的随机数;
2)以表示第t代第i个个体的位置,通过速度调整个体位置,定义为:其中,β表示可见性系数a1和a2rp和rg分别表示和pbest之间以及和gbest的欧几里得距离,g∈[0,1]为可变系数;
3)g的迭代调整;
其中,gmax=1,gmin=0,iter为当前迭代次数,itermax为最大迭代次数;
4)当前最优位置pbest的计算;
其中,fitness为多级神经网络的训练误差;
5)个体速度的更新;
其中,d表示吸引系数,r∈[-1,1];
6)适应度相似个体的速度更新计算公式为:
其中,为第t代个体i的速度,为个体i在第t代的位置,为个体j在第t代的位置;a2和β分别表示吸引常数和可见性系数,rmf表示和之间的欧几里得距离,fl表示随机步行系数,r∈[-1,1];
S4、利用多级分类神经网络模型对意图进行检测分类;
S5、将模型分类输出结果与绩效衡量标准进行对比,最终实现语言识别。
2.根据权利要求1所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,步骤S1中,所述数据增强的具体步骤包括:定义batchxi为针对样本xi的具体batch样本,batchyi为该batch样本对应的标签;λ为由参数α,β的贝塔分布计算得到的混合系数,定义为:λ=Beta(α,β)(1)
mixed_batchx=λ*batchx1+(1-λ)*batchx2(2)mixed_batchy=λ*batchy1+(1-λ)*batchy2(3)其中,Beta(·)为贝塔分布,mixed_batchx为混合后的batch样本,mixed_batchy为混合样本对应的标签。
3.根据权利要求1所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,步骤S2中,词嵌入步骤具体包括:
1)利用全局共现矩阵,GloVe模型可以生成词向量表示V={v1,v2...vn},其中,vi表示词汇表中第i个单词的向量;此外,定义A、S、R和H分别表示反义词、同义词和相关词的索引集合;第一个向量空间y通过目标函数和集合约束进行调整以获得一个新的向量空间V′,其中V′={v′1,v′2...v′n};
2)同义词富集,通过改进向量之间的余弦相似度,在向量空间中引入彼此接近的同义词,定义为:其中,SE表示富集后的同义词对的集合,δ=1,τ(x)=max(0,x);
3)反义词富集,通过将向量之间的余弦相似性降低到0使反义词彼此远离,定义为:其中,AE表示富集后的反义词对的集合,δ=1,τ(x)=max(0,x);
4)相关词富集,将具有相似含义词在向量空间中的距离尽可能缩小,并且目标函数将相关词之间的余弦相似度提高到0或大于0,确保相关词与同义词之间具有一定的区分度,将其定义为:其中,RE表示富集后的相关词对的集合,δ固定为0,τ(x)=max(0,x)。
4.根据权利要求3所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,还包括使用约束调整词向量,包括以下步骤:将转换后的向量空间弯曲到原始向量空间,使用目标函数保持与临近值之间的余弦相似度,初始词向量大于或等于它们之间的余弦相似度,定义为:其中,M表示词汇表中的字数,N(i)表示第i个的临近组,N(i)涉及V中的词,其第i个单词之间的余弦相似度高于0.8;
目标函数为同义词、反义词以及相关词的富集和余弦相似度的线性积分,定义为:E(V,V′)=SE(V′)+AE(V′)+RE(V′)+VSP(V,V′)(8)目标函数由变换向量V′和初始向量V的随机梯度下降方法最小化。
5.根据权利要求1所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,适应度相似个体的速度更新后,引入交叉算子计算过程;
交叉算子计算过程,具体步骤如下:
1)具有相似适应度的个体i和个体j的交叉操作如下所示:其中,L∈[0,1];
2)对生成的第t+1代的个体i添加随机扰动以提高局部搜索能力,即:其中,σ表示标准偏差,Nn表示均匀分布。
6.根据权利要求1所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,步骤S4具体包括:
1)初始化选择性特征的分数值及其对应的权重值;
其中,Ei表示输入熵值,Wi表示对应的权重值;
2)将输入与任意选择的加权向量相乘完全求和;
其中,R表示加权求和值;
3)估计激活函数(AF),定义为:
其中,f表示sigmoid激活函数;
4)隐藏层测量结果获取,定义为:
Υi=Ai+∑GiWi (12)
其中,Υi表示测量结果,Ai表示偏差值,Wi表示输入和隐藏层之间的权重,Gi表示AF应用更改的值。
7.根据权利要求6所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,还包括误差信号规范化,步骤如下:
1)在神经网络模型的所有层上重新执行步骤S4的具体步骤,通过添加每个输入信号权重来估计结果单元,以获得层神经元值;
Oui=Ai+∑PiWi(13)
其中,Pi表示导致输出为1的层的值,Wi表示隐藏层的权重,Oui表示输出单元;
2)将输出结果与目标值进行偏差计算产生误差信号Er;
Er=Tai-Oui(14)
其中,Tai表示目标输出,Oui表示分类电流输出;
3)针对目标值进行加权,在误差信号Er的基础上计算得到相对误差δi;
δi=Er[f(Oui)](15)
4)进行进一步加权校正,定义为:
wci=βδi(Ei) (16)
其中,wci为校正值,β表示动量项,Ei表示输入向量,δi表示分布在网络中的误差。
8.根据权利要求1所述的多因子进化算法优化神经网络模型的语言识别方法,其特征在于,步骤S5具体包括:将模型预测结果与目标结果进行差异量化,并确定模型的分类输出结果与测试集中真实标签的匹配情况,最终通过模型的性能指标、精度和召回率进行意图识别。
9.一种根据权利要求1~8任一所述的多因子进化算法优化神经网络模型的语言识别方法在神经网络模型超参数优化中的应用。