欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2026101904379
申请人: 南昌大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于跨域特征融合的多视图三维重建方法,其特征在于,包括以下步骤:S1:获取目标物体的多个RGB图像,并将所述多个RGB图像分别分割投影,获得初始特征令牌;

S2:对所述初始特征令牌进行跨特征域编码处理,所述跨特征域编码处理包括:采用双树复小波变换将所述初始特征令牌分解为低频分量和高频分量,对所述高频分量进行幅度相位分解与幅度调制处理以增强结构细节,并将处理后的所述低频分量与所述高频分量重构,生成包含空间域信息与频域信息的空间-频率融合特征;具体过程为:对输入的所述初始特征令牌进行第一层归一化处理,获得第一归一化特征;将所述第一归一化特征输入至跨特征域层进行处理,获得丰富了空间频率信息的特征;通过第一残差连接将所述丰富了空间频率信息的特征与所述第一归一化特征进行融合,获得第一融合特征;对所述第一融合特征进行第二层归一化处理后,输入至卷积前馈网络建模局部空间依赖关系,获得局部增强特征;通过第二残差连接将所述局部增强特征与所述第一融合特征进行融合,以生成并输出所述空间-频率融合特征;

S3:对来自多个视角的所述空间-频率融合特征进行方差嵌入加权合并处理,所述方差嵌入加权合并处理包括:计算所述空间-频率融合特征中每个特征令牌的方差以生成方差嵌入权重,并基于所述方差嵌入权重对来自不同视角的所述空间-频率融合特征进行自适应加权聚类,生成融合后的多视角特征;其中,基于所述方差嵌入权重对来自不同视角的所述空间-频率融合特征进行自适应加权聚类的具体过程为:计算所述空间-频率融合特征中每个特征令牌在特征维度上的标准差;对所有特征令牌的所述标准差进行标准化处理,获得每个特征令牌的相对权重;将所述相对权重与对应的特征令牌进行元素级相乘,生成加权特征;在进行多视角特征聚类时,采用所述加权特征进行自适应距离计算,以代替欧几里得距离计算,从而指导聚类过程,并生成聚类索引;

S4:对所述融合后的多视角特征采用三源注意力机制进行解码处理,所述三源注意力机制包括:将一组静态可学习嵌入作为查询,将所述空间-频率融合特征作为键,将所述融合后的多视角特征作为值,进行跨域注意力计算以获得解码特征,并对所述解码特征进行上采样,生成并输出所述目标物体的三维体素重建结果。

2.根据权利要求1所述的方法,其特征在于,将所述第一归一化特征输入至跨特征域层进行处理,获得丰富了空间频率信息的特征,具体包括:采用所述双树复小波变换将所述第一归一化特征分解为所述低频分量和所述高频分量;

对所述低频分量进行自适应加权处理,其计算公式为:

;

其中,为处理后的低频分量,为原始低频分量,为可学习权重矩阵;

对所述高频分量进行所述幅度调制处理;

采用逆双树复小波变换将自适应加权处理后的低频分量和经过幅度调制处理后的高频分量进行重构,得到所述丰富了空间频率信息的特征。

3.根据权利要求1所述的方法,其特征在于,所述S2中,对所述高频分量进行幅度相位分解与幅度调制处理的具体过程为:将复数形式的所述高频分量分解为其幅度和相位,所述幅度和相位的计算公式分别为:;

其中,为所述高频分量的实部,为所述高频分量的虚部,为用于防止数值不稳定的常数;

采用两个可学习权重矩阵对所述幅度进行调制,获得调制后的幅度,其计算公式分别为:;

其中,为经可学习权重获得的调制后的幅度,为经可学习权重获得的调制后的幅度,和的维度对应所述高频分量的方向结构与通道结构;

将所述调制后的幅度与原始的所述相位结合,重建复数形式的调制后的高频分量,其计算公式分别为:;

将重建后的复数高频分量的实部与虚部进行拼接,并转换为浮点张量,获得经过幅度调制处理后的所述高频分量。

4.根据权利要求1所述的方法,其特征在于,所述S3中的方差嵌入加权合并处理,还包括:将所有视角的所述空间-频率融合特征进行第二层归一化处理后,输入至评分多层感知器,为每个特征令牌生成重要度评分;

基于所述重要度评分和所述聚类索引,在每个聚类簇内,利用所述重要度评分作为权重对簇内所有特征令牌进行加权平均,将多个视角的特征令牌合并为单个视角的特征令牌,形成初步融合的特征图;

将所述初步融合的特征图作为查询,将经过第二层归一化处理的空间-频率融合特征作为键和值,输入至Transformer模块进行跨视图注意力计算,最终输出所述融合后的多视角特征。

5.根据权利要求1所述的方法,其特征在于,所述S4中,进行跨域注意力计算以获得解码特征的具体过程为:将所述查询、所述键、所述值分别输入至相互独立的层归一化模块进行预处理,以消除不同特征流之间的分布差异,获得预处理后的查询、键和值;

将所述预处理后的查询、键和值输入至缩放点积注意力模块中进行计算,使得注意力权重聚焦于由所述键提供的几何细节区域,获得注意力输出;

对所述注意力输出进行归一化,并输入至前馈网络与GELU激活函数模块中进行非线性变换,以整合来自所述键的高频细节信息与来自所述值的全局语义信息,最终输出所述解码特征。

6.根据权利要求1所述的方法,其特征在于,所述获得初始特征令牌的具体过程为:设定输入RGB图像分辨率为,将每张图像分割为的非重叠图像补丁,其中非重叠图像补丁数量为;

将每个非重叠图像补丁线性投影至一个预设的768维空间,生成一个维度为768的特征令牌张量,将该特征令牌张量作为所述初始特征令牌。

7.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时,实现如权利要求1-6任一项所述的一种基于跨域特征融合的多视图三维重建方法的步骤。

8.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时,实现如权利要求1-6任一项所述的一种基于跨域特征融合的多视图三维重建方法的步骤。