欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024115056376
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于无人机与边缘计算的三维重建方法,其特征在于,包括以下步骤:S1:无人机携带单目相机对目标场景采集标清视频流;

S2:边缘计算设备实时接收和处理标清视频流,生成初步的低精度三维重建;

S3:边缘计算设备通过分析低精度重建结果识别出缺陷区域,对无人机的飞行路径进行优化;

S4:无人机根据优化的路径,对目标场景采集高清视频流;

S5:边缘计算设备对该高清视频流进行离线高精度三维重建,以提高重建场景的准确性和细节表达能力,具体流程为:获取输入高清视频流数据的每帧图像并进行初始化,创建不透明和近似透明的3D高斯体,其中不透明高斯体用于拟合表面和主导颜色,而透明高斯体用于拟合剩余颜色;

为每一帧图像显式地添加三类像素对应的高斯体,并基于输入和渲染RGB-D图像之间的颜色损失和深度损失启动高斯体优化,具体为:(1)

(2)

(3)

其中,为总损失,为颜色损失,为深度损失,衡量了实际颜色图像与渲染颜色图像、实际深度图像与渲染深度图像的绝对误差,而为用于约束透明高斯体几何属性的L2损失,、、为三者的权重;

使用实时优化方案对高斯体进行在线优化,以适应环境变化并减少内存和计算成本,并通过加权平均方法将当前时间窗口的优化结果与先前的结果融合,避免遗忘问题,具体为:(4)

(5)

其中,为上一帧优化结果,为当前帧优化结果,权重反映当前帧与历史帧之间差异的大小,最后决定出加权平均值;

经过连续的优化与融合,重建出包含高精度几何结构和色彩信息的三维场景模型,存储于边缘设备中。

2.根据权利要求1所述的一种基于无人机与边缘计算的三维重建方法,其特征在于,所述步骤S2的具体方法如下:S2.1:边缘计算设备实时接收无人机传来的标清视频流,接收过程中,边缘设备将确保视频流的完整性与实时性,此外,边缘设备还需要监控视频流的传输状态,确保在无人机飞行过程中视频流的稳定传输,防止因信号干扰或丢失而导致的重建中断;

S2.2:边缘计算设备对接收到的标清视频流进行编码处理,将原始视频帧转换为适合算法处理的格式,随后,处理后的图像数据输入到空间记忆模块,空间记忆模块存储着之前重建过程中积累的3D信息,在此基础上,算法从当前帧中提取关键特征,生成查询特征,具体为:(6)

其中,为时刻t生成的查询特征,为时刻t目标解码器解码出的特征,为时刻 t由编码器处理得到的特征,是一个特征处理模块,用于生成查询特征,这些查询特征用于从空间记忆模块中检索与当前帧相关的3D信息;

S2.3:记忆读取模块提取从空间记忆模块中检索出的3D信息,与当前帧的关键特征进行融合处理,解码器负责将这些信息进行解码,将检索出的历史3D数据与当前帧的特征相结合,生成初步的三维场景点云数据,具体为:(7)

(8)

其中,为融合后的中间特征,是注意力图,为前一时刻的查询特征,和分别为空间记忆模块中的键(key)和值(value)特征,为缩放因子,表示对进行转置,为激活函数;

S2.4:初步的三维场景点云数据在优化器进行优化处理,修正可能存在的误差,提升三维场景的连贯性和准确性,具体为:(9)

其中,解码器输出的特征通过MLP头部,生成点图及其置信度。

3.根据权利要求1所述的一种基于无人机与边缘计算的三维重建方法,其特征在于,所述步骤S3的具体方法如下:S3.1:对于初步重建的三维场景,利用图像评估卷积神经网络对生成的渲染图像进行质量评估,该网络基于峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性指数(Structural Similarity Index, SSIM)来评价重建图像的质量,具体为:(10)

(11)

其中,为图像质量综合评分,P为峰值信噪比,S为结构相似性指数,峰值信噪比对应权重为,结构相似性指数对应权重为,当某区域的综合评分低于预设阈值,则标记该区域为缺陷区域;

S3.2:根据图像评估模块的输出结果,动态调整无人机的飞行路径,当系统检测到重建质量不达标的区域时,会生成一个新的飞行任务,使无人机返回该区域进行补充拍摄,以改善该区域的重建质量。