欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101875557
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于GPU的深度神经网络模型训练方法,其特征在于,所述方法包括:在深度神经网络模型首次训练时,将各隐藏层对应的输出数据压缩至GPU主存存储,得到压缩后的输出数据和所述GPU的主存余量;

当所述GPU的主存余量未达到预设余量阈值时,根据所述输出数据的稀疏程度值和所述压缩后的输出数据占用所述GPU主存的时间比重,确定初步隐藏层;

迭代训练所述深度神经网络模型时,根据所述初步隐藏层,将所述初步隐藏层对应的输出数据压缩至所述GPU主存存储,得到所述GPU主存的初步余量,直至所述初步余量达到所述预设余量阈值;

当所述初步余量达到所述预设余量阈值时,确定需要将对应的输出数据压缩至所述GPU主存存储的最终隐藏层,根据所述最终隐藏层进行训练,以得到训练好的深度神经网络模型。

2.根据权利要求1所述的方法,其特征在于,所述输出数据包括特征映射;所述在深度神经网络模型首次训练时,将各隐藏层对应的输出数据压缩至GPU主存存储,包括:在深度神经网络模型首次训练过程的前向传递过程中,在所述各隐藏层计算生成对应的所述特征映射后,将所述特征映射作为下一隐藏层的输入数据参与前向传递计算,将所述特征映射压缩至所述GPU主存存储。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

在所述深度神经网络模型首次训练过程的反向传递过程中,在完成所述各隐藏层对应的解压缩步骤后,获取所述解压缩步骤的开始时间并存储;

在深度神经网络模型下一次训练过程的反向传递过程中,根据所述解压缩步骤的开始时间,采用预解压缩的方式预先将前向传递过程中存储的压缩后的特征映射进行解压缩。

4.根据权利要求1所述的方法,其特征在于,所述当所述GPU的主存余量未达到预设余量阈值时,根据所述输出数据的稀疏程度值和所述压缩后的输出数据占用所述GPU主存的时间比重,确定初步隐藏层,包括:当所述GPU的主存余量未达到预设余量阈值时,获取所述输出数据的稀疏程度值;

当所述稀疏程度值大于预设稀疏程度阈值时,确定第一隐藏层;所述第一隐藏层为所述各隐藏层中确定的需要将对应的输出数据进行压缩的隐藏层;

根据所述第一隐藏层,对所述第一隐藏层对应的输出数据压缩并存储至所述GPU主存后,获取所述GPU主存的第一余量;

当所述第一余量未达到所述预设余量阈值时,获取所述压缩后的输出数据占用所述GPU主存的时间比重;

根据所述时间比重,确定初步隐藏层;所述初步隐藏层为所述第一隐藏层中确定的需要将对应的输出数据进行压缩的隐藏层。

5.根据权利要求4所述的方法,其特征在于,所述当所述稀疏程度值大于预设稀疏程度阈值时,确定第一隐藏层,包括:当所述稀疏程度值大于预设稀疏程度阈值时,将所述稀疏程度值对应的隐藏层确定为需要将对应的输出数据进行压缩的隐藏层;

根据所述隐藏层,确定所述各隐藏层中需要将对应的输出数据进行压缩的隐藏层,作为第一隐藏层。

6.根据权利要求4所述的方法,其特征在于,所述根据所述时间比重,确定初步隐藏层,包括:当所述时间比重小于预设时间比重阈值时,将所述时间比重对应的隐藏层确定为不需要将对应的输出数据进行压缩的隐藏层;

根据所述隐藏层,确定所述第一隐藏层中需要将对应的输出数据进行压缩的隐藏层,作为初步隐藏层。

7.根据权利要求3所述的方法,其特征在于,所述根据所述解压缩步骤的开始时间,采用预解压缩的方式预先将前向传递过程中存储的压缩后的特征映射进行解压缩,包括:根据所述解压缩步骤的开始时间,确定所述反向传递过程的节点到达当前隐藏层的时间;

根据所述时间,在基于反向传递算法的训练过程中,同时对所述当前隐藏层的压缩后的特征映射进行并行式预解压缩。

8.一种基于GPU的深度神经网络模型训练装置,其特征在于,所述装置包括:首次训练模块,用于在深度神经网络模型首次训练时,将各隐藏层对应的输出数据压缩至GPU主存存储,得到压缩后的输出数据和所述GPU的主存余量;

初步隐藏层确定模块,用于当所述GPU的主存余量未达到预设余量阈值时,根据所述输出数据的稀疏程度值和所述压缩后的输出数据占用所述GPU主存的时间比重,确定初步隐藏层;

迭代训练模块,用于迭代训练所述深度神经网络模型时根据所述初步隐藏层,将所述初步隐藏层对应的输出数据压缩至所述GPU主存存储,得到所述GPU主存的初步余量,直至所述初步余量达到所述预设余量阈值;

最终隐藏层确定模块,用于当所述初步余量达到所述预设余量阈值时,确定需要将对应的输出数据压缩至所述GPU主存存储的最终隐藏层,根据所述最终隐藏层进行训练,以得到训练好的深度神经网络模型。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。