1.一种无参考图像质量评价方法,其特征在于,包括:
对失真图像进行下采样和位置编码得到特征序列;
将所述特征序列输入到基于Transformer的生成网络中获取失真图像的多层特征,其中所述失真图像的多层特征包括失真图像第一层特征、失真图像第二层特征和失真图像第三层特征;
失真图像第三层特征通过线性逆平摊得到伪参考图像;
将失真图像的多层特征分别通过卷积和归一化操作进行特征变换,将变换后的特征进行加权相加得到失真图像的全局特征;
将失真图像和伪参考图像输入到卷积神经网络中分别提取失真图像卷积特征和伪参考图像卷积特征,并进行通道维连接得到失真图像的局部特征;
将失真图像的全局特征和局部特征进行连接得到失真图像的融合特征,将所述失真图像的融合特征输入到线性回归网络中,得到失真图像的质量评价结果。
2.根据权利要求1所述的无参考图像质量评价方法,其特征在于,对失真图像进行下采样和位置编码得到特征序列,包括:对失真图像进行四倍下采样,将下采样之后的图像分割成64个块,并对每个块进行位置编码得到特征序列。
3.根据权利要求1所述的无参考图像质量评价方法,其特征在于,将所述特征序列输入到基于Transformer的生成网络中获取失真图像的多层特征,包括:所述基于Transformer的生成网络包括第一个Transformer模块、第二个Transformer模块和第三个Transformer模块;
将特征序列输入到第一个Transformer模块中提取得到失真图像第一层特征;
失真图像第一层特征通过双线性插值进行两倍上采样后输入到第二个Transformer模块中提取得到失真图像第二层特征;
失真图像第二层特征通过双线性插值进行两倍上采样后输入到第三个Transformer模块中提取得到失真图像第三层特征。
4.根据权利要求3所述的无参考图像质量评价方法,其特征在于,将所述特征序列输入到基于Transformer的生成网络中获取失真图像的多层特征,包括:将输入的特征序列转化为张量,通过多头注意力机制来捕获失真图像的上下文信息:Q=WqX,K=WkX,V=WvX
其中X表示输入张量,Q、K、V分别表示查询、键和值,Wq、Wk、Wv分别表示查询、键、值的权重矩阵,dk表示注意力头的维度;
每一层特征Attention(Q,K,V)进行全连接融合:O
MultiHead(Q,K,V)=Concat(head1,…,headn)WQ K V
headi=Attention(QWi ,KWi ,VWi)Q K V O
其中,Wi、Wi 、Wi表示第i个头headi的线性变换权重矩阵,W 表示权重矩阵,Concat表示张量的连接操作;
多头注意力的输出特征通过前馈神经网络得到高维特征张量。
5.根据权利要求1所述的无参考图像质量评价方法,其特征在于,将失真图像的多层特征分别通过卷积和归一化操作进行特征变换,将变换后的特征进行加权相加得到失真图像的全局特征,包括:将失真图像第一层特征、失真图像第二层特征、失真图像第三层特征分别通过卷积和归一化操作进行特征变换,并通过加权相加得到全局特征;
FGlobal=w1×T1+w2×T2+w3×T3
k1+k2+k3=1
其中,T1、T2、T3分别表示失真图像第一层特征、失真图像第二层特征、失真图像第三层特征,k1、k2、k3表示三个特征张量的权重,FGlobal表示失真图像的全局特征。
6.根据权利要求1所述的无参考图像质量评价方法,其特征在于,还包括通过判别网络对伪参考图像进行判别:将伪参考图像和失真图像划分为图像块,再通过线性平摊转换为一维特征张量,将伪参考图像和失真图像的特征张量进行通道数合并,对特征张量进行位置编码,并在特征张量的头部添加分类标记,将带有分类标记的特征张量输入到Transformer模块中,最后通过多层感知机输出伪参考图像的判别结果。
7.一种无参考图像质量评价装置,其特征在于,包括:
伪参考图像生成模块,用于:对失真图像进行下采样和位置编码得到特征序列;将所述特征序列输入到基于Transformer的生成网络中获取失真图像的多层特征,其中所述失真图像的多层特征包括失真图像第一层特征、失真图像第二层特征和失真图像第三层特征;
失真图像第三层特征通过线性逆平摊得到伪参考图像;
全局特征提取模块,用于:将失真图像的多层特征分别通过卷积和归一化操作进行特征变换,将变换后的特征进行加权相加得到失真图像的全局特征;
局部特征提取模块,用于:将失真图像和伪参考图像输入到卷积神经网络中分别提取失真图像卷积特征和伪参考图像卷积特征,并进行通道维连接得到失真图像的局部特征;
质量分数回归模块,用于:将失真图像的全局特征和局部特征进行连接得到失真图像的融合特征,将所述失真图像的融合特征输入到线性回归网络中,得到失真图像的质量评价结果。
8.根据权利要求7所述的无参考图像质量评价装置,其特征在于,还包括伪参考图像判别模块,用于:将伪参考图像和失真图像划分为图像块,再通过线性平摊转换为一维特征张量,将伪参考图像和失真图像的特征张量进行通道数合并,对特征张量进行位置编码,并在特征张量的头部添加分类标记,将带有分类标记的特征张量输入到Transformer模块中,最后通过多层感知机输出伪参考图像的判别结果。
9.一种设备,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~6任一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~6任一项所述方法的步骤。