欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022116181552
申请人: 山西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图像融合视角的无监督深度学习三维形貌重建方法,其特征在于,包括以下步骤:H×W×N×C H×W×N×C

步骤1,给定焦点堆栈FS∈R 和对应的焦点位置P∈R ,其中H,W分别表示焦点切片的高和宽,N为焦点切片数量,C为通道数,R表示实数域;

H×W×N×C

步骤2,对步骤1中的焦点堆栈FS∈R 根据式(1)至式(3)的聚焦区域检测模块得到H×W×N×C聚焦体积FV1∈R ,

F1=dilated(FS)                            (1)F2=RELU(ResNet(F1)+FS)                       (2)FV1=RELU(conv(RELU(conv(F2))))+F2                 (3)其中dilated()表示扩张卷积,F1为初始特征,ResNet()表示残差模块,RELU()表示激活函数,F2为语义特征,conv()表示3D卷积模块;

步骤3,对步骤2得到的聚焦体积FV1根据式(4)的降采样聚焦检测模块,输出有效下采样特征F3,对特征F3根据式(5)和式(6)进行特征提取得到第二个尺度的聚焦体积F3=RELU(stride_conv(FV1)+conv(Maxpooling(FV1)))          (4)F4=RELU(ResNet(F3)+FS)                      (5)FV2=RELU(conv(RELU(conv(F4))))+F4                (6)其中stride_conv()表示跨步卷积,Maxpooling()表示3D最大池化操作,F4为语义特征;

步骤4,对步骤3得到的聚焦体积FV2输入式(7)的降采样聚焦检测模块得到下采样输出特征F5,然后对特征F5根据式(8)和式(9)得到第三个尺度的聚焦体积F5=RELU(stride_conv(FV2)+conv(Maxpooling(FV2)))           (7)F6=RELU(ResNet(F5)+FS)                          (8)FV3=RELU(conv(RELU(conv(F6))))+F6                   (9)其中F6为语义特征;

步骤5,将步骤2、步骤3和步骤4分别获得的聚焦体积FV1,FV2,FV3根据式(10)输入四层hourglass网络进行不同尺寸特征的结合与细化,输出每个焦点位置最大锐度概率的中间H×W×N注意力M∈R ;

M=hourglass(FV1,FV2,FV3)                       (10)depth

步骤6,将步骤5得到的中间注意力M根据式(11)进行归一化获得深度图注意力M ,并根据式(12)与焦点位置P进行点乘获得预测深度图D,其中F表示焦点堆栈的图片数量,Mi,j,t表示焦点堆栈中第t幅图像中位于像素点(i,j)处的中间注意力值, 表示第t切片中位于像素点(i,j)处的深度图注意力值,像素点(i,j)的取值范围为1≤i≤H,1≤j≤W,t为堆栈下标其范围为1≤t≤N,Di,j表示深度图中像素点(i,j)的深度信息,exp()表示指数函数,ln()表示对数函数;

步骤7,将步骤5得到的中间注意力M根据式(13)进行归一化获得全聚焦图像注意力AiFM ,并根据式(14)与焦点堆栈FS进行点乘获得全聚焦图像I,其中 表示第t切片中位于像素点(i,j)处的全聚焦图像注意力值,Ii,j表示深度图中像素点(i,j)的灰度信息;

步骤8,将步骤6得到的深度图D与步骤7得到的全聚焦图像I根据式(15)的引导滤波函数得到场景最终的三维重建结果Ddepth,Ddepth=GT(I,D)                              (15)其中GT()表示引导滤波函数。