1.一种基于MT3000异构处理器的深度学习计算库实现方法,其特征在于,基于MT3000异构处理器的CPU与单DSP加速器进行设计,采用engine引擎层‑stream数据流层‑memory内存对象层‑primitives原语层的四层设计框架,通过执行一个或多个原语来处理一个或多个内存对象中的数据以实现深度学习计算的基本操作,原语执行的顺序封装保存在数据流的上下文中,数据流保存网络模型数据执行的逻辑顺序,数据流、原语以及内存对象都是针对某个特定的设备引擎实现的,具体实现如下:engine引擎层:engine引擎层是计算设备的抽象,用于封装抽象的某个计算设备,engine引擎包括CPU引擎和DSP引擎,所述CPU引擎用于维护CPU支持的指令集、cache大小以及硬件核心数量信息,所述DSP引擎用于维护DSP处理器的簇号和可用的线程数量信息;
stream数据流层:stream数据流层封装了CPU引擎或者DSP引擎上原语执行的相关下文,对应一个网络在执行过程中的原语算子的执行序列;在底层实现上使用队列来表示在CPU和DSP上的线程组的执行序列,队列中线程组出队执行的顺序即为网络模型中算子执行的序列;
memory内存对象层:内存对象是封装在特定设备引擎上分配的内存缓存区域,在创建memory内存对象之前需要创建内存描述符来标识内存对象的属性,内存描述符需要保存张量的维度、数据类型、内存格式以及张量索引映射到线性内存空间中的偏移量的方式;
primitives原语层:原语是封装特定计算或访存操作的对象,在创建原语之前,必须需要创建该原语的原语描述符,原语描述符需要保存该原语的共有属性信息,对于特定的某个原语,还需要保存该原语独有的信息;原语描述符处于操作描述符和原语之间的抽象级别,可用于检查特定原语实现的细节。
2.根据权利要求1所述的方法,其特征在于,engine引擎层‑stream数据流层‑memory内存对象层‑primitives原语层的四层设计框架在engine引擎层封装抽象的计算设备,在stream数据流层面抽象算子的前后执行序列,在memory内存对象层封装原语执行所要操作的内存对象,在primitives原语层使用与MT3000异构处理器相关的性能优化手段实现深度学习常用算子的高性能版本。
3.根据权利要求2所述的方法,其特征在于,所述MT3000异构处理器相关的性能优化手段包括乘加指令、数据重排、SIMD向量化运算、cache分块、计算访存流水。
4.根据权利要求3所述的方法,其特征在于,所述高性能版本包括如下深度学习计算原语:卷积、池化、归一化以及激活。
5.根据权利要求1所述的方法,其特征在于,在stream数据流层中,数据流的创建依托于一个确定的引擎,代表在该确定的引擎上原语执行的数据流;对网络的图优化也在数据流上完成。
6.根据权利要求5所述的方法,其特征在于,在memory内存对象层中,不同的硬件设备为了达到最优的访存与计算性能,需要对张量有独特的访存的方式,在进行实际计算之前,可以将存储对象中的张量数据进行重新排布;内存对象的创建依托于一个特定的引擎,代表在该特定的引擎上的内存对象;在MT3000异构处理器上,CPU和DSP共享主存储器,CPU拥有所有存储空间的控制权,而DSP处理器只能访问使用特定接口在主存储器上开辟的存储空间。
7.根据权利要求6所述的方法,其特征在于,在primitives原语层中,一个封装好的原语抽象出来是一个算子;另外,使用原语的属性,一些原语可以表示复杂的融合计算;同一个抽象的原语在不同的引擎上的具体计算逻辑是不同的,因此原语的创建依托于一个特定的引擎,代表需要在该特定的引擎上执行的原语;原语创建完成即可放入数据流中等待统一的调度。
8.根据权利要求1所述的方法,其特征在于,计算库的整体计算流程如下:
创建计算引擎,MT3000异构处理器带有一个CPU引擎和四个DSP引擎,可通过关键字分别创建,在创建DSP引擎时需要指定DSP的簇号;
创建数据流对象,数据流对象需要传入引擎对象,表示在该传入的引擎对象上创建一个数据流;
创建内存对象,内存对象的创建需要传入引擎对象,表示在该传入的引擎对象上开辟的内存空间;内存对象包含一个张量指针,并保存了张量的相关信息;创建多个内存对象将整个计算流程中的中间张量都涵盖进去以供原语计算使用;
创建原语对象,原语对象需要传入引擎对象,表示在该传入的引擎对象上进行计算的一个算子,同时需要将原语计算过程中的涉及到的内存对象传入,表示原语计算需要操作的张量;原语对象创建完成之后将其放入数据流中由数据流进行统一调度;在一个网络模型的计算中需要创建多个原语对象来表示神经网络中的每一层,依次放入数据流中,等待数据流中所有的原语执行完成即完成了所有的计算流程。
9.根据权利要求8所述的方法,其特征在于,计算库在进行计算时所采用的数据精度包含双精度浮点数、单精度浮点数、半精度浮点数、32位整数;CPU引擎可以额外支持8位整数的计算;DSP引擎只支持单精度和半精度的计算。
10.根据权利要求9所述的方法,其特征在于,计算库在计算时实现了多引擎协同处理数据流;CPU引擎和DSP引擎共享主存储器,CPU引擎对主存储器所有的空间都具有读写的权限,DSP引擎只能操作该DSP引擎上被操作系统分配到的空间;CPU引擎对主存储器的访存带宽更高, DSP引擎的计算单元更多,DSP引擎带有16个向量处理单元,在一个指令周期可完成长度为16的双精度浮点数向量的融合乘加运算;对于一个原语的计算,可以将数据的搬运和张量的重排的工作交由CPU完成,DSP引擎则主要完成数据的计算工作。