欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202610048815X
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种以人为主体场景的单目深度估计方法,其特征在于,包括以下步骤:获取以人为主体场景的RGB图像,以及与RGB图像对应的预设深度图;

将RGB图像和预设深度图输入预训练的深度估计模型中进行处理,生成预测的深度图;其中,深度估计模型包括变分自编码器、特征增强融合模块和变分自解码器,所述特征增强融合模块基于U-Net网络架构来构建;

变分自编码器将RGB图像进行编码,形成编码图像,并将预设深度图进行编码及添加噪声,得到带噪声深度图潜变量;将编码图像与带噪声深度图潜变量进行堆叠,获得堆叠图像;

所述特征增强融合模块通过去噪网络U-Net对堆叠图像和RGB图像进行特征增强融合,预测当前时间步的噪声信息,并基于当前时间步的噪声信息,利用去噪网络U-Net对带噪声深度图潜变量进行不断去噪处理,获得去噪完成的潜空间向量;

潜空间向量通过变分自解码器复原为预测的深度图,深度图中的深度数据为RGB图像对应的单目深度。

2.根据权利要求1所述的一种以人为主体场景的单目深度估计方法,其特征在于,所述特征增强融合模块获得去噪完成的潜空间向量的具体过程包括:所述特征增强融合模块基于U-Net网络架构来构建,并且将U-Net网络卷积层之间的文本交叉注意力机制替换为DCA-Adapter模块;

所述特征增强融合模块中去噪网络U-Net的编码器中的DCA-Adapter模块能够利用Canny边缘检测算法提取RGB图像的高频分量,并分别对RGB图像和高频分量进行编码,分别获得全局图像编码和高频结构编码;对堆叠图像进行特征提取,获得图像特征,将图像特征映射为查询向量;分别将全局图像编码和高频结构编码映射为键值,将查询向量分别与全局图像编码和高频结构编码映射的键值进行交叉注意力计算,分别得到全局语义特征和高频结构特征;

基于全局图像编码和高频结构编码,以及当前扩散时间步,利用自适应模型AM对全局语义特征和高频结构特征的权重进行动态计算,得到动态全局权重和动态高频权重;根据动态全局权重和动态高频权重,将全局语义特征和高频结构特征进行加权融合,获得融合特征;

去噪网络U-Net利用融合特征引导带噪声深度图潜变量的去噪过程,得到当前时间步预测的噪声;并根据预测的噪声及带噪声深度图潜变量,获取下一时间步的带噪声深度图潜变量;

通过不断利用去噪网络U-Net对带噪声深度图潜变量进行去噪处理,获得去噪完整的潜空间向量。

3.根据权利要求2所述的一种以人为主体场景的单目深度估计方法,其特征在于,所述堆叠图像的获取,包括:利用预训练模型Stable Diffusion v1.5自身的变分自编码器VAE,对RGB图像进行编码,得到编码后的图像信息;将预设的单通道的真实深度图复制为三通道图像,再利用VAE编码器进行编码,得到编码后的深度信息;

对编码深度进行加噪处理,其加噪过程表示为:

;

其中:高斯噪声;表示累计噪声调度;表示扩散过程所用的方差调度;

编码深度经加噪处理后获得带噪声深度图潜变量,将编码后的图像信息与带噪声深度图潜变量进行堆叠,形成堆叠图像并作为特征增强融合模块的输入。

4.根据权利要求3所述的一种以人为主体场景的单目深度估计方法,其特征在于,所述全局语义特征和高频结构特征的获取,包括:利用Canny边缘检测算法提取RGB图像的高频分量,利用CLIP图像编码器,将RGB图像与高频分量分别编码为图像编码和高频编码,其中包含全局图像信息,包含局部纹理和结构信息;

对堆叠编码图像进行特征提取,获得图像特征,将图像特征映射为查询向量,并进行交叉注意力计算,得到全局语义特征和高频结构特征,表示为:;

;

其中:为由图像特征映射得到的查询向量;、、、是分别由图像编码和高频编码得到的键、值矩阵,输出的和分别对应全局语义特征和高频结构特征。

5.根据权利要求4所述的一种以人为主体场景的单目深度估计方法,其特征在于,所述融合特征的获取,包括:利用自适应模型AM,并根据图像编码、高频编码和预训练模型Stable Diffusionv1.5当前的时间步,对全局语义特征和高频结构特征的权重进行动态计算,得到动态全局权重和动态高频权重;

将全局语义特征和高频结构特征进行加权融合,表示为:

;

其中:表示融合特征。

6.根据权利要求3所述的一种以人为主体场景的单目深度估计方法,其特征在于,所述模型Stable Diffusion v1.5的训练包括:利用开源THuman3.0数据集生成用于训练的深度估计数据集;

利用Depth Anything V2对互联网上大量真实照片进行预测,得到的RGB-D配对深度数据集;

利用仿射不变变换消除深度估计数据集与RGB-D配对深度数据集的差异,表示为:;

其中:为真实深度值;、分别为深度图的最小值和最大值;

利用消除差异后的深度估计数据集与RGB-D配对深度数据集,分别对模型StableDiffusion v1.5进行训练,获得预训练模型Stable Diffusion v1.5。

7.根据权利要求1所述的一种以人为主体场景的单目深度估计方法,其特征在于,所述RGB图像为RGB图像数据集中的一幅,所述RGB图像数据集的构建过程包括:利用大语言模型GPT-4o,根据预设的的涵盖人物性别、年龄、表情、动作、服饰及背景环境的多样化属性,生成语义分布广且属性交叉组合的描述人物的文本提示词;

将文本提示词输入扩散模型SDXL中,批量生成高分辨率的人物RGB图像;

将生成的RGB图像输入至一个并联的混合图像过滤器中进行质量筛选,所述过滤器由基于ViT、DINOv2和CLIP的三个二分类模型组成,仅当三路模型一致判定图像为人体结构正常的优质图像时,将该图像保留,去除存在肢体畸形或结构错误的图像,得到RGB图像数据集。

8.一种以人为主体场景的单目深度估计装置,其特征在于,包括:图像生成模块,用于获取以人为主体场景的RGB图像,以及与RGB图像对应的预设深度图;

处理模块,用于将RGB图像和预设深度图输入预训练的深度估计模型中进行处理,生成预测的深度图;其中,深度估计模型包括变分自编码器、特征增强融合模块和变分自解码器,所述特征增强融合模块基于U-Net网络架构来构建;

变分自编码器将RGB图像进行编码,形成编码图像,并将预设深度图进行编码及添加噪声,得到带噪声深度图潜变量;将编码图像与带噪声深度图潜变量进行堆叠,获得堆叠图像;

特征提取融合模块,所述特征增强融合模块通过去噪网络U-Net对堆叠图像和RGB图像进行特征增强融合,预测当前时间步的噪声信息,并基于当前时间步的噪声信息,利用去噪网络U-Net对带噪声深度图潜变量进行不断去噪处理,获得去噪完成的潜空间向量;

深度估计模块,潜空间向量通过变分自解码器复原为预测的深度图,深度图中的深度数据为RGB图像对应的单目深度。

9.一种电子设备,其特征在于,包括:存储器和处理器;

所述存储器,用于存储计算机程序;

所述处理器,用于执行所述存储器中存储的计算机程序时,实现如权利要求1~7任一项所述的一种以人为主体场景的单目深度估计方法的步骤。

10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1~7任一项所述的一种以人为主体场景的单目深度估计方法的步骤。