欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025106687608
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种道路场景多尺度目标检测方法,基于多模态传感器融合,其特征在于,包括如下步骤:步骤1、通过视觉摄像头、激光雷达及红外传感器同步采集道路场景的原始数据,通过棋盘格标定板与硬件同步信号,完成传感器空间标定与时间同步;

步骤2、对视觉图像进行去噪处理,对激光雷达点云进行降采样,对红外热辐射强度图进行增强;

步骤3、将处理后的多模态数据融合为融合特征图;

步骤4、从融合特征图中提取候选框并提取几何与模态特征,通过高斯混合模型GMM对候选框进行聚类,按目标尺寸分为大、中、小三类;

步骤5、动态Soft-NMS优化,根据目标类别动态调整检测参数,筛选高置信度候选框;

步骤6、输出最终目标位置与类别,触发实时告警与云端反馈;

所述步骤4中,包括:

基于Faster R-CNN框架,输入融合特征图,输出初始候选框;

特征向量构建:对每个候选框提取以下特征:几何特征:候选框宽、高、面积;模态特征:深度置信度、热辐射强度;

高斯混合模型GMM聚类如下:

输入所有候选框的特征向量;

EM算法建模:

初始化:随机设定3个高斯分布的均值和协方差矩阵;

迭代优化:E步:计算每个候选框属于各高斯分布的后验概率;M步:更新高斯分布参数,最大化对数似然函数;

收敛条件:对数似然变化量∣ΔlogL∣<1e−5或迭代次数≥100;其中logL表示对数似然函数;

输出:3类高斯分布标签及分布参数。

2.如权利要求1所述的方法,其特征在于,所述步骤1中:所述通过棋盘格标定板与硬件同步信号,完成传感器空间标定与时间同步,包括:空间对齐:通过标定矩阵将激光雷达坐标系与视觉摄像头坐标系对齐;

时间同步:采用硬件触发信号PPS脉冲实现多传感器帧同步。

3.如权利要求1或2所述的方法,其特征在于,所述视觉摄像头输出RGB图像序列,激光雷达实时生成点云数据,红外传感器输出红外热辐射强度图。

4.如权利要求3所述的方法,其特征在于,所述步骤2包括:对所述RGB图像序列进行3×3中值滤波;对激光雷达点云进行体素滤波;对红外热辐射强度图采用CLAHE算法增强对比度。

5.如权利要求4所述的方法,其特征在于,所述步骤3中,所述多模态数据融合为融合特征图,包括:特征对齐:将激光雷达点云投影至视觉图像平面,生成深度置信度图;

将RGB图像、深度置信度图、红外热辐射强度图按通道拼接,形成融合特征图。

6.如权利要求1或5所述的方法,其特征在于,所述步骤5中,动态Soft-NMS优化算法流程如下:候选框排序:按初始置信度从高到低排序;

动态抑制策略通过衰减函数动态调整候选框的置信度,根据目标尺寸和重叠程度自适应地抑制冗余框;

多模态加权:融合深度置信度与热辐射强度至最终评分。

7.如权利要求6所述的方法,其特征在于,所述步骤5包括:小目标使用σ=0.2的Soft-NMS参数,大目标使用σ=0.6;最终评分=0.6×深度置信度+0.4×热辐射强度;保留评分≥0.5的候选框。

8.如权利要求1所述的方法,其特征在于,所述步骤6中:大目标由ResNet-50网络处理,小目标由轻量化网络处理;边缘端触发告警延迟<50ms,云端每日优化模型参数。

9.如权利要求1所述的方法,其特征在于,所述云端反馈包括:聚合多节点历史数据训练增量模型,优化GMM聚类中心与σ值策略,更新参数反馈至边缘设备。