1.一种模型并行训练方法,由参与并行训练的每一图形处理器GPU执行,所述方法包括:预先为参与并行训练的每个GPU分配局部分类标签;
获取该GPU的局部训练样本数据;其中,该GPU的局部训练样本数据与预先为该GPU分配的局部分类标签关联;
根据获取的局部训练样本数据确定特征提取网络中第一参数的本地局部梯度数据和分类器中第二参数的本地局部梯度数据;
根据第一参数的本地局部梯度数据和其他GPU中第一参数的其他局部梯度数据对特征提取网络进行更新;所述其他局部梯度数据是通过不同GPU中特征提取网络之间相互数据整合通信得到的;
根据第二参数的本地局部梯度数据对分类器进行更新。
2.根据权利要求1所述的方法,所述方法还包括:
根据全量训练样本数据的全量分类标签数量和参与并行训练的GPU数量,为每一GPU分配局部分类标签。
3.根据权利要求1所述的方法,其中,该GPU使用与其他GPU不同的专属数据加载器;所述获取该GPU的局部训练样本数据,包括:通过该GPU的专属数据加载器获取该GPU的局部训练样本数据。
4.根据权利要求1所述的方法,其中,所述根据获取的局部训练样本数据确定特征提取网络中第一参数的本地局部梯度数据和分类器中第二参数的本地局部梯度数据,包括:通过特征提取网络对获取的局部训练样本数据进行特征提取得到本地局部特征,通过分类器对所述本地局部特征进行分类得到分类预测结果;
根据所述分类预测结果,确定特征提取网络中第一参数的本地局部梯度数据和分类器中第二参数的本地局部梯度数据。
5.根据权利要求1所述的方法,其中,所述根据第一参数的本地局部梯度数据和其他GPU中第一参数的其他局部梯度数据对特征提取网络进行更新,包括:从其他GPU获取其他GPU中第一参数的其他局部梯度数据;
根据第一参数的本地局部梯度数据和所述其他局部梯度数据,确定第一参数的全局梯度数据;
根据所述第一参数的全局梯度数据,对特征提取网络进行更新。
6.根据权利要求1-5中任一项所述的方法,其中,参与并行训练的各GPU的特征提取网络中第一参数的初始值相同。
7.根据权利要求1-5中任一项所述的方法,其中,每一GPU中分类器的输入数据维度与预先为该GPU分配的局部分类标签数量相同。
8.根据权利要求1-5中任一项所述的方法,还包括:在训练完成后,从参与并行训练的每一GPU中选择任意一个GPU的特征提取网络作为特征提取网络任务的训练结果。
9.一种模型并行训练装置,配置于参与并行训练的每一图形处理器GPU中,所述装置包括:分类标签分配模块,用于预先为参与并行训练的每个GPU分配局部分类标签;
训练样本获取模块,用于获取该GPU的局部训练样本数据;其中,该GPU的局部训练样本数据与预先为该GPU分配的局部分类标签关联;
局部梯度确定模块,用于根据获取的局部训练样本数据确定特征提取网络中第一参数的本地局部梯度数据和分类器中第二参数的本地局部梯度数据;
特征提取网络更新模块,用于根据第一参数的本地局部梯度数据和其他GPU中第一参数的其他局部梯度数据对特征提取网络进行更新;所述其他局部梯度数据是通过不同GPU中特征提取网络之间相互数据整合通信得到的;
分类器更新模块,用于根据第二参数的本地局部梯度数据对分类器进行更新。
10.根据权利要求9所述的装置,
分类标签分配模块,具体用于根据全量训练样本数据的全量分类标签数量和参与并行训练的GPU数量,为每一GPU分配局部分类标签。
11.根据权利要求9所述的装置,其中,该GPU使用与其他GPU不同的专属数据加载器;所述训练样本获取模块具体用于:通过该GPU的专属数据加载器获取该GPU的局部训练样本数据。
12.根据权利要求9所述的装置,其中,所述局部梯度确定模块包括:样本处理单元,用于通过特征提取网络对获取的局部训练样本数据进行特征提取得到本地局部特征,通过分类器对所述本地局部特征进行分类得到分类预测结果;
局部梯度确定单元,用于根据所述分类预测结果,确定特征提取网络中第一参数的本地局部梯度数据和分类器中第二参数的本地局部梯度数据。
13.根据权利要求9所述的装置,其中,所述特征提取网络更新模块包括:其他局部梯度获取单元,用于从其他GPU获取其他GPU中第一参数的其他局部梯度数据;
全局梯度确定单元,用于根据第一参数的本地局部梯度数据和所述其他局部梯度数据,确定第一参数的全局梯度数据;
特征提取网络更新单元,用于根据所述第一参数的全局梯度数据,对特征提取网络进行更新。
14.根据权利要求9-13中任一项所述的装置,其中,参与并行训练的各GPU的特征提取网络中第一参数的初始值相同。
15.根据权利要求9-13中任一项所述的装置,其中,每一GPU中分类器的输入数据维度与预先为该GPU分配的局部分类标签数量相同。
16.根据权利要求9-13中任一项所述的装置,所述装置还包括:训练结果确定模块,用于在训练完成后,从参与并行训练的每一GPU中选择任意一个GPU的特征提取网络作为特征提取网络任务的训练结果。
17.一种电子设备,其中,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。