欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116162777
申请人: 长安大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图像语义理解的道路交通标志识别方法,其特征在于,包括:基于图像采集设备进行图像采集;

对采集到的图像进行预处理,构建道路交通标志数据集;

基于Blip网络构建道路交通标志检测模型,并基于道路交通标志数据集对该模型进行训练,得到训练后的道路交通标志检测模型;

基于道路交通标志数据集对训练后的道路交通标志检测模型进行效果测试;基于Blip网络构建道路交通标志检测模型,具体为:构建道路交通标志检测模型,其中,构建道路交通标志检测模型包括视觉编码器、文本编码器、视觉文本编码器及视觉文本解码器,其中,视觉编码器采用Vision Transformer结构及 Cross-Attention 机制,用于提取图像中道路标志的特征信息,将其作为联合表征之一,文本编码器采用BERT架构,用于提取文本特征,视觉文本编码器采用 Cross-Attention机制,且注意力部分采用双向的 Self-Attention 机制,引入了额外的[Encode] token,用于利用图像特征及文本特征进行二分类任务,视觉文本解码器采用 Cross-Attention 机制,注意力机制部分采用Casual-Attention,引入了额外的[DEcode] token及结束token,用于提取道路交通标志的文本特征,道路交通标志检测模型将视觉编码器提取的图像特征及视觉文本解码器提取的道路交通标志的文本特征通过交叉注意力机制进行结合,形成包含道路标志多模态信息的新特征表征;

其中,所述道路交通标志检测模型采用Blip的下游任务Image Capiton为道路交通标志图像生成语句描述,且使用语言模型目标函数生成给定道路交通标志图像的文本描述。

2.根据权利要求1所述的方法,其特征在于,基于图像采集设备进行图像采集,具体为:基于安装在车辆上的摄像设备,实时获取车辆前方道路场景的图像数据,其中,摄像设备包括高清摄像头及夜视摄像头,用于根据不同的环境需求进行切换。

3.根据权利要求1所述的方法,其特征在于,对采集到的图像进行预处理,构建道路交通标志数据集,具体为:获取采集的图像数据,对其进行图像尺寸调整,统一图像尺寸;

对尺寸统一后的图像数据进行去噪处理;

对去噪处理后的图像数据进行色彩校正;

对色彩校正后的图像数据进行数据增强处理;

对数据增强处理后的图像数据进行人工手动标注;

汇总标注后的图像数据,生成道路交通标志数据集。

4.根据权利要求3所述的方法,其特征在于,通过高斯滤波或中值滤波对尺寸统一后的图像数据进行去噪处理,用于去除图像中的噪声。

5.根据权利要求4所述的方法,其特征在于,对去噪处理后的图像数据进行色彩校正,具体为:获取去噪处理后的图像数据,并对其进行检测,针对光照不均的图像,对其进行白平衡调整及色彩校正。

6.根据权利要求5所述的方法,其特征在于,对色彩校正后的图像数据进行数据增强处理,具体为:基于图像增强模型对色彩校正后的图像数据进行图像增强,其中,图像增强模型包括单独特征处理模块、联合特征处理模块和特征融合模块,其中,单独特征处理模块用于学习得到五个私有特征图,联合特征处理模块用于学习得到一个公有特征图,特征融合模块用于统一表征私有特征图和公有特征图,最终实现图像的有效增强。