欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116079996
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:所述极低光人体姿态估计方法具体包括以下步骤:步骤1、收集极低光人体图像构建训练数据集和测试数据集;

步骤2、构建基于图像分频特征增强的极低光人体姿态估计网络模型,所述极低光人体姿态估计网络模型包括频率感知的图像增强模块和骨干网络,利用频率感知的图像增强模块对步骤1构建的训练数据集进行增强,随后将增强后的数据输入到骨干网络进行训练,得到训练好的极低光人体姿态估计网络模型;

其中,所述频率感知的图像增强模块包括拉普拉斯分解层、纹理调制模块、结构增强模块和空间对齐重建层,频率感知的图像增强模块用于解耦极低光图像的高频特征分量和低频特征分量,分别针对低频特征分量中的全局结构信息和高频特征分量的纹理边缘信息进行增强,通过空间对齐重建确保高频特征分量、低频特征分量的有效融合和结构一致性,得到增强后的极低光图像,骨干网络用于提取增强后的极低光图像的多尺度特征,预测出最终的人体姿态估计;

步骤3、将测试数据集输入步骤2得到的训练好的网络模型,获得人体姿态估计结果,其中,所述结构增强模块包括基于能量压缩的通道频域调制和基于参数加权的空间频域调制,在步骤3利用频率感知的图像增强模块进行训练数据增强时,所述结构增强模块执行如下步骤:步骤2.3.1、将输入的低频特征分量LFN通过3D注意力机制编码,通过优化能量函数来重新加权输入的低频特征分量LFN,对于低频特征分量LFN处理后的输入的特征图F∈RC×H×W,按照通道计算出均值和方差然后通过最小化公式中的能量函数,计算各像素点的能量值:其中,λ为超参数,eij表示目标像素点tij的能量值,i∈{0,1,…,H-1},j∈{0,1,…,W-1},像素点的权重步骤2.3.2、重新将素点的权重调整为权重

其中,表示各通道的权重值求和,g(·)表示激活函数;

步骤2.3.3、权重通过离散余弦变换(DCT)进一步转化到频域得到频谱图fuv:fc=zigzag(fuv)

其中,fuv表示离散余弦变换后的频谱图f位于(u,v)位置的数值,u∈{0,1,…,H-1},v∈{0,1,…,W-1},i,j为指代位置,fc为频域向量;

步骤2.3.4、采用zig-zag的压缩方式将频谱图fuv进一步压缩为紧凑的频域向量fc∈RC×D,并与可学习滤波器Filter∈RC×H×W进行元素级乘法操作来提高表示能力,表达式如下:fc1=fc·FC(R(Filter))

其中,RC×D由Resize操作将滤波器参数由RC×H×W转换而来,Resize操作包括reshape操作R(·)和线性层FC(·),D

其中,F′∈RC×H×W,FC(·)表示线性层,×表示沿通道相乘操作;

步骤2.3.5、使用离散余弦变换(DCT)操作将输入的特征图F′∈RC×H×W转化为频域特征图f∈RC×H×W,利用可学习滤波器来捕获频带之间的重要性关系,间接在图像不同空间位置之间进行交互,得到频域信息f*:f*=f·Filter

其中,Filter∈RC×H×W表示可学习滤波器的参数并由网络学习而来;

步骤2.3.6、将频域信息f*逆转换为空域特征F″ij:

其中F″ij表示逆离散余弦变换(IDCT)后的某一通道特征图位于(i,j)位置的数值即空域特征。

2.根据权利要求1所述的基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:步骤2中,构建基于图像分频特征增强的极低光人体姿态估计网络模型具体包括以下步骤:步骤2.1、提取极低光图像不同频率的图像特征,构建拉普拉斯分解层,所述拉普拉斯分解层通过拉普拉斯金字塔将提取极低光图像进行多尺度频率分解,将极低光图像特征解耦为高频特征分量和低频特征分量;

步骤2.2、构建纹理调制模块和结构增强模块:纹理调制模块自适应学习不同尺度高频特征分量融合的空间权重,实现高频特征分量间的互补与增强,获得增强后的高频图像特征,结构增强模块由通道频域调制和空间频域调制两部分组成的,分别建模空间频域信息间和通道频域信息间的依赖性,获得增强后的低频图像特征;

步骤2.3、构建空间对齐重建层,将增强后的高频图像特征和低频图像特征进行基于空间对齐策略的融合操作,获得增强后的极低光图像;

步骤2.4、构建骨干网络即HRNet网络模型,提取步骤2.3增强后的极低光图像的多尺度特征并进行关节点的分类及位置预测,预测出最终的人体姿态估计结果。

3.根据权利要求1所述的基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:利用频率感知的图像增强模块进行训练数据的增强时,所述拉普拉斯分解层执行如下步骤:步骤2.1.1、利用高斯金字塔对极低光图像进行层级构建,分辨率为h×w的输入极低光图像I分解为一个低频特征分量和多个高频特征分量:其中,Gn(I)表示高斯金字塔第n层极低光图像,N表示金字塔总层数,Bn(Gn-1(I))表示对前一层极低光图像Gn-1(I)进行2D高斯滤波,D(·)表示2倍下采样操作;

步骤2.1.2、重复的高斯滤波和下采样将高频特征分量过滤,将高斯金字塔最高层的图像定义为低频特征分量LFN:LFN=GN(I)

步骤2.1.3、拉普拉斯金字塔每一层解耦出来的高频特征分量HFn由相邻两层高斯金字塔图像相减得到:HFn=Gn(I)-U(Gn+1(I))

其中,1≤n≤N-1,U(.)表示2倍上采样操作。

4.根据权利要求1所述的基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:所述纹理调制模块包括高频特征尺度统一即Resize和自适应空间权重学习与加权融合,即将不同尺度的高频特征分量统一至相同尺寸,针对第n层支路的高频特征分量HFn的处理,所述纹理调制模块执行如下步骤:步骤2.2.1、纹理调制模块首先对其他支路的高频特征分量进行采样,保证其与第n层高频特征分量尺寸的一致,定义表示由第n1层采样至第n2层高频分量位置在(i,j)的像素值;

步骤2.2.2、对统一至相同尺寸的不同高频特征分量分别进行加权并融合,融合策略表达式如下:其中,表示第n层融合后的高频特征分量中位置为(i,j)的像素值,指第n层的三个不同级别高频特征分量特征图的空间重要性权重,通过使用1×1卷积来得到对应的权重图,约束三个不同级别高频特征分量特征图的空间重要性权重之和为1:通过融合策略,所有层级的高频特征分量都在各自尺度上自适应融合。

5.根据权利要求1所述的基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:所述空间对齐重建层由基于可变形卷积的空间对齐机制实现,在步骤3利用频率感知的图像增强模块进行训练数据增强时,空间对齐重建层执行如下步骤:步骤2.4.1、将根据高频特征分量提供的空间位置信息调整低频特征分量,将空间位置信息调整量定义为偏移量,用2D特征图来表示,其中每个偏移值被视为低频特征分量LFn上采样后的每个点与其在HFn-1中的对应点之间在2D空间中的移动距离,低频特征分量融合重建流程表达式如下:其中,为空间对齐重建后的第n-1层的高频特征分量,fo(·)、fa(·)分别表示从空间差异中学习偏移量Δn和将特征与偏移量进行对齐的函数,fa(·),fo(·)使用可变形卷积实现,步骤2.4.2、对于不同高频分量的融合重建,采取如下方式完成:

Δn=fo([HFn-2,HF′n-1]),

其中n=1,2,3,4。

6.根据权利要求1所述的基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:在所述步骤2.4中,骨干网络为任一一种基于CNN的网络,通过骨干网络最终输出的热力图来确定预测的关节点位置。

7.根据权利要求1所述的基于图像分频特征增强的极低光人体姿态估计方法,其特征在于:训练极低光人体姿态估计网络模型的损失函数使用MSE损失函数,表达式如下:其中,N表示样本的个数,W表示人体关节点种类数,表示一个batch中第n个样本第w个人体关键点预测热力图,表示一个batch中第n个样本第w个人体关键点标签热力图。