欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020105519392
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种深度学习并行计算架构方法,其特征在于:

首先使用CNN来捕获各个地点的空间特征,然后在此基础上使用SRU来捕获时空数据的时序特征,用于时空数据的回归预测;

具体包括以下步骤:

步骤一:搭建CNN模块,以提取数据的空间特征;给定一个数据序列{xs,1,xs,2,xs,3,…xs,i,…xs,t}作为编号为s的站点的时间序列数据,其中xs,i表示第s个站点i个时刻的值,将第s个站点t+1时刻的预测值定义为 则其过程如公式(1)所示:其中 表示使用卷积神经网络所提取的时刻i各个地点的空间特征,Conv表示卷积神经网络计算和最大池化计算;

步骤二:搭建SRU模块,以提取数据的时间依赖性,其计算过程如公式(2)所示:

其中 表示使用卷积神经网络所提取的时刻i各个地点的空间特征,SRU表示简单循环单元计算,hi,ci分别表示当前时间序列通过简单循环单元所获取的时刻i的隐藏状态输出和细胞状态;SRU的内部实现过程如公式(3-7)所示:ft=σ(Wfxt+bf)    (4)

rt=σ(Wrxt+br)     (5)

ht=rt⊙g(ct)+(1-rt)⊙xt    (7)

其中xt表示t时刻的输入值,W、Wf和Wr分别表示相应的权重矩阵, 表示对t时刻输入值的线性转换,σ表示sigmoid激活函数,ft和rt分别表示t时刻的遗忘门和重置门,bf和br分别表示遗忘门和重置门的偏置,ct-1和ct分别表示t-1时刻和t时刻的细胞状态,ht表示t 时刻的隐藏状态,g表示激活函数,⊙表示矩阵的对应元素相乘;

SRU完全舍弃了时刻t的门计算和前一个t-1时刻的隐藏状态ht-1、细胞状态ct-1之间的关系,从而可以并行计算线性转换 遗忘门ft和重置门rt;

步骤三:将SRU最后时刻的隐藏状态输出值作为全连接层的输入值,然后输出所有地点的预测值。

2.根据权利要求1所述的深度学习并行计算架构方法,提出一种对该架构进行超参数自动化配置优化,其特征在于:步骤一:对数据集进行预处理,包括数据清洗、数据缺失值的填充等操作,并将经过预处理的数据集以6∶2∶2的比例划分为训练集、验证集和测试集;

步骤二:将搭建模型所需要使用的超参数以形参的方式进行传递,将这些值作为模型超参数,以搭建基于SRU的并行模型架构;

步骤三:设置并行遗传算法相应的参数,为使用并行遗传算法进行上述模型架构的超参数的自动化配置,需要先设定所需要的子群体的个数、每个子群体中个体的个数、子群体间进行个体交换所间隔的进化代数、每个子群体所进化的总代数、进行个体交换的个数;

步骤四:子群体初始化,种群是由经过基因编码的一定数目的个体组成,每个个体实际上是由一个染色体表示,而这个染色体则代表当前所需要求解的各个超参数的值;因为所需要求解的超参数一般是由整数表示,所以此处以二进制编码的方式进行染色体编码,即随机生成一定长度的二进制数据串,并用其代表一条染色体串,表示所需要求解的所有参数的初始值;

二进制数据串中的每一个二进制数据段表示一个相应的超参数,所以二进制数据串可以包含多个超参数,其中二进制数据串的长度根据所需求解的超参数的个数和每个超参数的范围进行确定;

二进制数据串中的第一段二进制数据为数据的步长参数,其表示当前个体初始化的数据步长为18,因为将步长限制在32以内,所以该段二进制数据包含5个二进制数;二进制数据串中的第二段、第三段二进制数据分别为神经网络的第一层、第二层隐藏单元个数,其表示当前个体初始化的第一层、第二层隐藏单元的个数分别为64、128,因为将隐藏单元限制在256以内,所以这些二进制数据段都是包含8个二进制数;第四段、第五段二进制数据分别为卷积神经网络第一层、第二层卷积层卷积核的大小,其表示当前个体初始化的第一层、第二层卷积层卷积核的大小分别为5和3,因为卷积核的大小限制在8以内,所以这些二进制数据段均为包含3个二进制数;

根据步骤三中设定的所需的子群体个数开启相应个数的进程,使之并行运行,并对各个进程进行编号;然后根据所需求解的参数个数和范围设置每个个体的染色体的大小,并根据步骤三中所设置的每个子群体中个体的个数,通过使用上述方式,以并行的方式在所开启的进程中随机初始化所需要的相应个数的二进制数据串,以表示所初始化的超参数的初始值;

步骤五:定义适应度函数,并行遗传算法的适应度函数也叫评价函数,是用来判断群体中个体的优劣程度的指标,并作为以后遗传操作的依据;此处即意味着当前个体所表示的超参数对当前模型的适应程度,以模型的评价指标作为适应度函数的返回结果,由于该模型结构是进行回归预测,以模型的均方误差、均方根误差、平均绝对误差、平均绝对百分比误差、决定系数作为评价指标,以这些指标中的一项作为适应度函数的返回结果,以此评价个体所表示的超参数对与模型的适应程度,其计算公式如(8-12):其中,MSE、RMSE、MAE、MAPE和R2分别表示均方误差、均方根误差、平均绝对误差、平均绝对百分比误差和决定系数,n为样本的个数,yi表示第i个样本的真实值, 表示第i个样本的预测值,表示所有样本真实值的平均值;

步骤5.1,定义一个函数作为适应度函数,将每个个体染色体作为该函数的参数进行传递,并对这些传入的个体进行解码,得到所需的各个超参数,如果有些超参数为0或者其它不符合实际情况的值,且选择的评价指标为MSE、RMSE、MAE、MAPE,则返回一个无穷大的数;

若评价指标为R2,则返回0;如果所有超参数都符合实际情况,则将这些和模型搭建相关的超参数传入步骤二所定义的模型类中,以初始化模型,根据解码所得的数据步长进行数据的处理,将其按照步长划分为符合模型所需要的数据;

步骤5.2,使用训练集对构建的模型进行训练一定的轮数,该训练轮数可视实际情况设置;

步骤5.3,计算出该训练一定轮数得到的模型在验证集上的相应指标值,并作为适应度函数结果返回;

步骤六:计算个体的适应度:在步骤四所开启的并行进程中,调用步骤五所定义的适应度函数,并循环将该进程初始化的群体中的每个个体作为函数的参数传递,得到群体中每个个体的适应度函数,记录每个个体的适应度函数结果;

步骤七:选择操作:并行遗传算法中的选择操作就是按照某种方法从父代群体中选取一些个体,遗传到下一代;使用锦标赛选择方式,在步骤四中所开启的多个并行进程中,同时按照下述方式进行处理:首先在群体中随机抽取size个个体,然后根据所计算出的个体的适应度,从中选取具有最佳适应度的个体,将此过程重复多次,直至选择出与该子群体大小相同个数的个体,将这些个体形成一个新的群体,并用此群体代替原有群体,以淘汰不适应个体,保留优秀个体;

步骤八:交叉操作:由于个体的染色体是二进制编码,且考虑到性能原因,此处使用均匀交叉的方式进行交叉操作,在步骤四中开启的多个并行进程中,同时按照下述方式进行处理:将步骤七中的每个新形成的子群体中的个体两两配成一对,每对都视作一对父代个体;然后随机产生一个与父代长度等长的0到1之间的随机数序列,并指定一个交换几率,使得小于该交换几率的随机数所对应的两个父代中的二进制数进行交换,从而形成两个新的子代个体,以丰富该群体;两个父代个体进行均匀交叉,其交换几率为0.5,从而形成两个新的个体;

步骤九:变异操作:变异操作是指依据指定的变异概率,此处选择位翻转突变,将个体染色体中的某些基因值用其它基因值来替换,从而形成一个新的个体,它决定了遗传算法的局部搜索能力,同时保持了群体的多样性;

在步骤四中所开启的多个并行进程中,同时按照下述方式进行处理:将步骤八所得到的新形成的相应子群体中的每个个体中的每一个基因按照给定的变异概率取非;

步骤9.1,指定变异概率,并生成一个与个体长度相同的0至1之间的随机数列;

步骤9.2,将小于该变异概率的随机数所对应的二进制数进行取非,即将0变为1,将1变为0;个体进行变异的变异概率为0.5;

步骤十:子群体交换:在所开启的多个并行进程中,重复进行多次步骤六到步骤九的操作,直至所进行的次数达到步骤三中所设定的子群体间进行个体交换所间隔的进化代数;

在所开启的多个并行进程中,同时按照下述方式进行处理:

步骤10.1,从当前的子群体中,根据各个个体的适应度结果,挑选一定数目的适应度结果最好的个体;

步骤10.2将挑选的这些个体传递给运行在编号在当前进程后面的进程上的子群体,再接收运行在编号在当前进程前面的进程上的子群体所挑选出的个体;

步骤10.3,再根据当前子群体中各个个体的适应度结果,在当前子群体中挑选出多个适应度结果最好的个体,使得个体个数与原有子群体中个数相等,并淘汰多余的适应度较差的个体;

步骤十一:进化结束:多次重复步骤六到十,直至所进化的总代数达到步骤三中所设定的每个子群体所进化的总代数;每个进程同时选出本进程的子群体中适应度结果最佳的个体,再从所选出的这些最佳个体中找出适应度结果最佳的个体;

步骤十二:最终模型:解码步骤十一所得到的最佳个体,得到各个超参数;首先根据得到的数据处理的步长,将步骤二的数据根据该数据步长,对训练集、验证集和测试集进行处理,将之处理为能够输入模型中的形式;将其余的超参数作为实参按照相应顺序传入到步骤一的模型类中,以初始化为各个结构符合该参数大小的模型;

步骤十三:模型训练和测试:利用训练集对所得到的模型进行训练,并使用测试集测试该模型的预测性能,得到最终训练合适的模型。