欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105578178
申请人: 吉林大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于跨模态融合的水下视觉目标测距方法,其特征在于,包括:获取水下的事件序列和RGB帧;

针对所述事件序列的异步稀疏性,通过体素网格方式对所述事件序列进行分段表征;

对所述事件序列和所述RGB帧进行特征编码,得到分别与所述事件序列和所述RGB帧对应的特征描述子;

通过自注意力机制对所述事件序列和所述RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;

根据所述特征描述子和所述依赖关系对所述事件序列和所述RGB帧进行特征融合,得到跨模态融合信息;

根据所述跨模态融合信息进行预测,得到水下视觉目标距离。

2.如权利要求1所述的水下视觉目标测距方法,其特征在于,所述获取水下的事件序列包括:通过事件相机获取水下的异步事件序列;

将所述异步事件序列转换为同步事件序列,并将所述同步事件序列作为所述事件序列。

3.如权利要求1所述的水下视觉目标测距方法,其特征在于,所述针对所述事件序列的异步稀疏性,通过体素网格方式对所述事件序列进行分段表征包括:根据预设的时间周期对所述事件序列的进行均匀划分,得到多个事件窗口,其中,每个事件窗口均包括若干事件单元;

将所述事件序列中每个事件单元的微秒级时间戳进行正则化,得到每个事件单元的正则化时间戳;

根据所述正则化时间戳确定每个事件单元与每个事件窗口的对应关系,并通过体素网格方式对每个事件窗口进行体素网格表征。

4.如权利要求1所述的水下视觉目标测距方法,其特征在于,所述对所述事件序列和所述RGB帧进行特征编码包括:通过预训练的ResNet‑50网络分别提取所述事件序列和所述RGB帧中具有不同空间分辨率的特征,并通过以下公式进行计算,得到所述特征描述子;

式中, 表示RGB帧, 表示ResNet‑50网络,表示RGB帧的特征描述子,表示事件序列, 表示事件序列的特征描述子。

5.如权利要求1所述的水下视觉目标测距方法,其特征在于,所述通过自注意力机制对所述事件序列和所述RGB帧进行空间关系提取之后还包括:得到用于描述局部像素信息与全局像素信息之间关系的RGB帧依赖关系;

所述根据所述特征描述子和所述依赖关系对所述事件序列和所述RGB帧进行特征融合包括:根据所述特征描述子、所述依赖关系和所述RGB帧依赖关系对所述事件序列和所述RGB帧进行特征融合。

6.如权利要求5所述的水下视觉目标测距方法,其特征在于,所述根据所述特征描述子、所述依赖关系和所述RGB帧依赖关系对所述事件序列和所述RGB帧进行特征融合包括:根据所述特征描述子和所述依赖关系,对所述事件序列进行三尺度特征融合,得到具有不同空间分辨率的事件映射;

根据所述特征描述子和所述RGB帧依赖关系,对所述RGB帧进行三尺度特征融合,得到具有不同空间分辨率的帧特征映射;

通过聚合操作将各个所述事件映射和所述帧特征映射融合,得到跨模态融合信息。

7.如权利要求6所述的水下视觉目标测距方法,其特征在于,所述根据所述跨模态融合信息进行预测包括:构建预测模型,通过有监督方式对所述预测模型进行训练,同时使用逐像素的L1损失函数约束训练,得到目标预测模型;

根据所述跨模态融合信息,通过所述目标预测模型进行预测,得到度量深度图;

将所述度量深度图转换为对数深度图,通过所述对数深度图得到所述水下视觉目标距离。

8.一种基于跨模态融合的水下视觉目标测距装置,其特征在于,包括:相机模块,用于获取水下的事件序列和RGB帧;

体素网格事件表征模块,用于针对所述事件序列的异步稀疏性,通过体素网格方式对所述事件序列进行分段表征;

特征编码模块,用于对所述事件序列和所述RGB帧进行特征编码,得到分别与所述事件序列和所述RGB帧对应的特征描述子;

自注意力模块,用于通过自注意力机制对所述事件序列和所述RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;

特征融合模块,用于根据所述特征描述子和所述依赖关系对所述事件序列和所述RGB帧进行特征融合,得到跨模态融合信息;

预测模块,用于根据所述跨模态融合信息进行预测,得到水下视觉目标距离。

9.一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。