1.一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,包括:
获取至少一个原始图像,将所述至少一个原始图像转化为四元数形式,得到至少一个纯四元数矩阵;
基于预设的改进ResNet网络对所述至少一个纯四元数矩阵进行特征提取,得到第一尺度特征stage1、第二尺度特征stage2、第三尺度特征stage3以及第四尺度特征stage4;
将所述第一尺度特征stage1和所述第二尺度特征stage2进行第一次特征融合,并将融合得到的第二目标尺度特征stage2’与所述第三尺度特征stage3进行第二次特征融合,得到第三目标尺度特征stage3’;
分别对所述第一尺度特征stage1、所述第二目标尺度特征stage2’以及所述第三目标尺度特征stage3’进行通道降维处理;
基于预设的特征矢量比例以及预设的特征矢量大小分别提取处理后的第一尺度特征stage1、第二目标尺度特征stage2’、第三目标尺度特征stage3’中以及所述第四尺度特征stage4中的特征向量,并将提取后的各个特征向量进行聚合,得到目标特征向量;
将所述目标特征向量输入至预设的全连接神经网络中,所述预设的全连接神经网络映射输出与所述目标特征向量对应的质量分数,其中,所述全连接神经网络中包含Dropout层以及至少一个全连接层。
2.根据权利要求1所述的一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,所述获取至少一个原始图像,将所述至少一个原始图像转化为四元数形式,得到至少一个纯四元数矩阵包括:将所述至少一个原始图像中的像素进行归一化到0到1之间;
将归一化后的每个像素的RGB通道分别作为四元数的三个虚部分量,实部为0,形成与所述至少一个原始图像对应的至少一个纯四元数矩阵,其中,纯四元数矩阵的表达式为:,
式中,为四元数,x、y、z为分别图像R通道数据、G通道数据、B通道数据,i、j、k均为四元数单位基。
3.根据权利要求1所述的一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,所述改进ResNet网络中包含用于提取输入图像特征的四元数卷积核、用于减半特征图分辨率的四元数池化层、恒等残差块以及连续堆叠的多个下采样残差块;
所述基于预设的改进的ResNet网络对所述至少一个纯四元数矩阵进行特征提取,得到第一尺度特征stage1、第二尺度特征stage2、第三尺度特征stage3以及第四尺度特征stage4包括:通过所述改进ResNet网络中的conv2_10卷积层、conv3_12卷积层、conv4_18卷积层以及conv5_9卷积层分别对所述至少一个纯四元数矩阵进行特征提取,得到第一尺度特征stage1、第二尺度特征stage2、第三尺度特征stage3以及第四尺度特征stage4。
4.根据权利要求1所述的一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,在基于预设的改进ResNet网络对所述至少一个纯四元数矩阵进行特征提取,得到第一尺度特征stage1、第二尺度特征stage2、第三尺度特征stage3以及第四尺度特征stage4之前,所述方法还包括:构建真实失真数据集以及合成失真数据集;
将所述真实失真数据集中的各个第一图像以及所述合成失真数据集中的各个第二图像输入至改进ResNet网络中,并对所述改进ResNet网络进行迭代训练。
5.根据权利要求1所述的一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,所述将所述第一尺度特征stage1和所述第二尺度特征stage2进行第一次特征融合,并将融合得到的第二目标尺度特征stage2’与所述第三尺度特征stage3进行第二次特征融合,得到第三目标尺度特征stage3’包括:对所述第一尺度特征stage1采用256个尺寸为256×3×3的卷积核以2为步长进行第一次处理;
对所述第二尺度特征stage2采用256个尺寸为512×1×1的卷积核进行第二次处理;
将第一次处理后的第一尺度特征stage1与第二次处理后的第二尺度特征stage2进行初步融合,得到第一融合特征,并根据128个尺寸为256×1×1的卷积核将所述第一融合特征的通道数减少一半,再用 256个尺寸为128×1×1的卷积核将第一融合特征的通道数扩展2倍,并对扩展后的第一融合特征进行通道加权,得到第二目标尺度特征stage2’;
对所述第二目标尺度特征stage2’采用256个尺寸为256×3×3的卷积核以2为步长进行第三次处理;
对所述第三尺度特征stage3采用256个尺寸为512×1×1的卷积核进行第四次处理;
将第三次处理后的第二目标尺度特征stage2’与第二次处理后的第三尺度特征stage3进行初步融合,得到第二融合特征,并根据128个尺寸为256×1×1的卷积核将所述第一融合特征第二融合特征的通道数减少一半,再用 256个尺寸为128×1×1的卷积核将第二融合特征的通道数扩展2倍,并对扩展后的第二融合特征进行通道加权,得到第三目标尺度特征stage3’。
6.根据权利要求1所述的一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,在分别对所述第一尺度特征stage1、所述第二目标尺度特征stage2’以及所述第三目标尺度特征stage3’进行通道降维处理之后,所述方法还包括:并对通道降维处理后的第一尺度特征stage1、第二目标尺度特征stage2’所述第三目标尺度特征stage3’分别执行全局平均池化和预设步长和预设尺寸的平均池化操作。
7.根据权利要求1所述的一种基于四元数卷积神经网络的无参考图像质量评估方法,其特征在于,所述基于预设的特征矢量比例以及预设的特征矢量大小分别提取处理后的第一尺度特征stage1、第二目标尺度特征stage2’、第三目标尺度特征stage3’中以及所述第四尺度特征stage4中的特征向量包括:基于1:1:1:4的特征矢量比例以及56、28、28、28的特征矢量大小分别提取处理后的第一尺度特征stage1、第二目标尺度特征stage2’、第三目标尺度特征stage3’中以及所述第四尺度特征stage4中的特征向量。
8.一种基于四元数卷积神经网络的无参考图像质量评估系统,其特征在于,包括:
获取模块,配置为获取至少一个原始图像,将所述至少一个原始图像转化为四元数形式,得到至少一个纯四元数矩阵;
提取模块,配置为基于预设的改进ResNet网络对所述至少一个纯四元数矩阵进行特征提取,得到第一尺度特征stage1、第二尺度特征stage2、第三尺度特征stage3以及第四尺度特征stage4;
融合模块,配置为将所述第一尺度特征stage1和所述第二尺度特征stage2进行第一次特征融合,并将融合得到的第二目标尺度特征stage2’与所述第三尺度特征stage3进行第二次特征融合,得到第三目标尺度特征stage3’;
处理模块,配置为分别对所述第一尺度特征stage1、所述第二目标尺度特征stage2’以及所述第三目标尺度特征stage3’进行通道降维处理;
聚合模块,配置为基于预设的特征矢量比例以及预设的特征矢量大小分别提取处理后的第一尺度特征stage1、第二目标尺度特征stage2’、第三目标尺度特征stage3’中以及所述第四尺度特征stage4中的特征向量,并将提取后的各个特征向量进行聚合,得到目标特征向量;
输出模块,配置为将所述目标特征向量输入至预设的全连接神经网络中,所述预设的全连接神经网络映射输出与所述目标特征向量对应的质量分数,其中,所述全连接神经网络中包含Dropout层以及至少一个全连接层。
9.一种电子设备,其特征在于,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至7任一项所述的方法。