欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020115191929
申请人: 南阳师范学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法,其特征在于,包括步骤:构建一个由生成器网络和判别器网络组成的生成对抗网络模型;

对生成器网络和判别器网络分别构造不同的损失函数;

利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络;

把需要修复的立体合成图放入空洞填补框架网络中进行修复得到生成图像;

其中,所述生成器网络用于预测原始图像空洞区域纹理映射;所述判别器网络用于对生成图像的质量进行判断;

所述生成器网络的损失函数和所述判别器网络的损失函数包括:LG=LG1+LG2

LG1=λddrLddr

LG2=λadvLadv+λpercLperc+λstyleLstyleLD=‑[Ey~P(Y)[logD(y,Mh)]+Ex~P(X)[log(1‑D(G(x,Mh),Mh))]]]其中,LG为生成器网络的损失函数;LG1为主损失函数;LG2为辅助损失函数;Lddr为定向回归损失函数;Lperc为感知损失;Lstyle为风格损失;Ladv为对抗损失;λddr,λadv,λperc,λstyle为平衡因子;LD为判别器网络的损失函数;x为有空洞的立体合成图像;y为作为真值的无空洞立体合成图像;Mh为二值化的空洞掩模矩阵,1为空洞区域,0为其它区域,y~P(Y)为真值图像从P(Y)分步中采样取得;x~P(X)为真值图像从P(X)分步中采样取得;E()表示取平均操作;

所述平衡因子λddr,λadv,λperc,λstyle范围分别为[0.5,5],[0.05,0.5],[0.05,0,5],[100,500];

所述定向回归损失函数Lddr=||Mh⊙Md⊙(G(x,Mh)‑y)||;其中,⊙为像素乘法;||.||为欧氏距离;Md为定向折损重建掩膜;所述定向折损重建掩膜中对应所述空洞区域的每个像素的权重定义为, 其中,Ω为含有空洞的原始图像上一个闭合空洞区域;δΩF表示空洞区域与相邻前景区域的边界;δΩB表示空洞区域与相邻背景区域的边界;p为Ω内的任一像素点;Wp为像素点p在Md上的权重;p0为前景端点;p1为背景端点; 为前景端点的固定预设权重; 为背景端点的固定预设权重,且

2.如权利要求1所述的一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法,其特征在于,所述生成器网络为编码解码型网络结构,包括编码模块和解码模块;所述编码模块下采样2次,中间依次连接8个扩张卷积层;所述解码模块上采样2次;所述判别器网络由5个卷积层堆叠而成。

3.如权利要求1所述的一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法,其特征在于,利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络包括步骤:将有空洞的立体合成图像及空洞掩模图像输入到生成器网络中得到生成图像;

将生成图像、空洞掩膜图像和作为真值的无空洞的立体合成图像作为判别器网络的输入;

依次迭代训练使生成器网络的损失函数和判别器网络的损失函数降至趋于稳定;

交替训练生成对抗网络中的生成器网络和判别器网络,当损失函数趋于稳定后得到最终的立体合成图像的空洞填补框架网络。