1.一种基于分布式估计算法的深度神经网络参数优化方法,其特征在于,包括:初始化种群,将种群中每一个个体解码为深度神经网络;
对上述深度神经网络的分类能力进行评价,将分类误差作为种群中个体优劣的评价指标;
对种群中的个体优劣进行排序,选取最优的前t个个体构建优势群体,并计算每个变量的统计学参数;
随机产生掩码向量,根据掩码向量及统计学参数确定待求解变量本次迭代的概率分布模型;
依据掩码向量与概率分布模型采样,生成新的种群个体;
迭代终止,获得最优分布式估计算法个体,解码为深度神经网络模型;
利用梯度优化算法,对分布式估计算法获得的深度神经网络模型进行微调,获得最优深度神经网络参数。
2.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法,其特征在于,对上述深度神经网络的分类能力进行评价,具体为:利用输入样本数据集对深度神经网络的分类能力进行评价,将分类误差作为种群个体的优劣评价指标:其中,I为输入样本,T为标签信息,E为分类误差,n为样本数量。
3.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法,其特征在于,计算每个变量的统计学参数,具体为:其中,(ui,σi)为根据所选优势个体计算的第i个变量的均值与方差,BN为优势个体数量,n为所选优势个体中的某一个体,xi为个体的第i个变量。
4.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法,其特征在于,根据掩码向量确定待求解变量的更新模式,具体为:其中,xi为个体的第i个变量,P为个体中所有变量的整体概率分布模型,Pi(k-1)为个体的第i个变量上一次迭代构建的概率分布模型,Pi(k-1)为上次迭代获得的待求解变量概率模型,Pi(k)为个体的第i个变量本次迭代构建的概率分布模型,M为需要更新概率模型的变量集合, 为采用优势群体均值进行更新的变量集合;在待求解变量数量范围内随机产生规定数量的整数值,如果所述整数值与待求解变量的编号相对应,则此整数集合为M,集合M外的其它待求解变量集合为
5.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法,其特征在于,依据集合M与 及概率分布模型采样,生成新的种群个体,具体为:其中, 为当前个体n的第i个变量值,μi为个体的第i个变量的优势个体的均值,Pi(k)为个体的第i个变量本次迭代构建的概率分布模型,Sam()为概率采样函数。
6.一种基于分布式估计算法的深度神经网络参数优化系统,其特征在于,包括服务器,所述服务器包括图形加速器GPU、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-5任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时执行权利要求1-5任一项所述的方法。