欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025101929210
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,包括以下步骤:步骤一、基于实车视觉采集平台,采集市区自然驾驶行驶工况;

步骤二、构建基于场景本体的结构化模板;采用YOLO视觉处理算法进行目标检测和语义标签分类;利用图神经网络,将场景图像填充、映射到预定义的场景模板中,完成图像到结构化数据的转换;

步骤三、开发并应用指标自动筛选出边缘场景;对于分类准确性低于设定阈值的案例,引入二次审核;

步骤四、根据场景语义标签匹配未来的变化,并标记当前状况下车辆应采取的行动;对原始图像进行前期预处理,并编码为向量格式,用于构建训练数据集;其中,场景向量数据作为输入,结构模板表示、未来变化数据、主车应对措施作为输出;

步骤五、使用成熟的qwen-vl架构,并针对边缘场景数据集进行微调,使模型能够学习从图像中提取特征并进行准确的未来预测;在损失函数中加入原始模型与微调后的新模型输出的交叉熵,量化原始模型与新模型输出间的差异;定期验证模型性能,调整训练参数,直至达到满意的性能水平;

步骤六、选择开源大模型作为基准,对比在基础认知、未来变化预测及车辆行为分析方面的表现,评估模型的实际应用价值;分析新模型与原始模型在相同测试集上的表现差异,确认新模型是否成功保留了原有的任务理解能力;

所述步骤四的具体方法如下:

S41、预测匹配场景信息;基于场景语义标签分析原始采集视频或图像序列,提取连续时间内场景的状态变化,构建场景预测信息;

S42、标注主车行为;对于当前场景,结合道路交通规则及安全驾驶原则,通过预训练的大语言模型,将规则转换为提示词,从而自动生成在场景下主车应采取的驾驶策略或动作;此外,基于规则对生成策略进行修正,删除不符合规则的行为;

S43、对图像进行预处理,对所收集的原始图像数据执行一系列预处理操作,具体包括色彩空间转换、图像裁剪、归一化、尺寸缩放四个步骤;

S44、特征向量化,将预处理过的图像转化为计算机理解的数值型特征向量,采用卷积神经网络提取图像特征,将图像特征从高维像素空间映射到低维特征空间;

S45、构建数据集,结合处理结果,构建一个完整的包含场景信息的数据集;每个样本包括经过预处理并编码为特征向量的图像数据和与之对应的场景语义标签、预测的未来状态变化数据以及针对当前场景下主车应采取的理想应对措施标签;

所述步骤五的具体方法如下:

S51、选取与初始化模型架构:选用qwen-vl开源大模型架构;基于预训练的qwen-vl权重初始化新模型;

S52、应用数据集:使用步骤四中构建的包含边缘场景信息预测的数据集进行训练;

S53、性能监控与调整:在整个训练周期中,定期在独立的验证集上评估模型的表现,关注模型在数据集任务上的性能指标;根据评估结果动态调整训练策略,使用余弦退火学习率调度器,根据验证集上的表现自动调整学习率,学习率从初始值逐渐降低到最小值,然后再次升高,形成一个周期性的变化;根据过拟合情况,调整L2正则化系数,防止模型过度拟合训练数据,调整过程逐步增大10%,直至过拟合现象消失;

其中,L2正则化系数是损失权重的衰减,损失函数计算方法如下:

式中,OriginalLoss是原始损失函数;λ是L2正则化系数;ωi是模型的权值系数。

2.根据权利要求1所述的一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,所述步骤一的具体方法如下:S11、基于地平线视觉套件,搭建试验车数据采集平台;

S12、实时捕捉多样化驾驶场景:通过安装在智能汽车上的摄像头设备,实时记录车辆在市区行驶过程中的视觉信息;

S13、车辆行驶区域选择时,确保数据覆盖多种驾驶场景。

3.根据权利要求1所述的一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,所述步骤二的具体方法如下:S21、构建场景结构化模板,基于本体论,将驾驶场景抽象归纳为一系列结构化的模板,包括术语层、属性层和关联层,按照此模板进行标注,即定义出不同元素之间的空间关系和交互规则;

S22、对场景语义标签进行分类,运用视觉处理算法YOLO,对自然驾驶数据采集阶段获得的图像进行深度分析;

S23、填充与转换图像,将带有语义标签的场景元素映射至预设的场景结构化模板中,基于图神经网络,将原本非结构化的场景图像转化成具有明确语义含义和位置关系的结构化表示,将自然驾驶数据转化为大模型能够高效利用的形式。

4.根据权利要求3所述的一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,所述S22的具体方法如下:采用YOLO-v8架构对采集数据进行处理,提取出本体论架构图中的术语及基础属性,定位和识别图像中的各个目标,为每个目标分配相应的语义标签,并输出每一类边界框的类别概率、中心点坐标、宽、高,并转换为边界框表示。

5.根据权利要求3所述的一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,所述S23的具体方法如下:S231、将每个检测到的物体作为一个节点,添加边来表达物体之间的空间关系或者语义关系;

S232、创建图神经网络模型,用于捕获节点间的相互作用和传播上下文信息;定义节点嵌入层,将每个物体的原始特征即YOLO输出的边界信息编码为高维向量表示;设计图卷积层和消息传递机制,适合于结构化表述学习,让网络能够学习节点间的复杂关系;

S233、训练该图神经网络模型,能够从图结构中学习并推断出更深层次的语义关系和结构化信息;经过训练后,将YOLO检测结果输入到图神经网络模型中,模型会输出更新后的节点表示,能够映射到本体论框架中的概念及关系,从而形成结构化表述。

6.根据权利要求1所述的一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,所述步骤三的具体方法如下:S31、定义边缘场景:将边缘场景定义为那些对当前智能算法构成挑战的情况,具体包括如下两部分:①识别不明确:YOLO算法输出的目标检测置信度低于设定阈值时,表明模型对于检测对象是否属于某一类别存在不确定性;

②结构化不佳:图神经网络处理后,节点分类准确率未能达到预定标准时,意味着图像中的元素未能被正确分类和关联;

S32、边缘场景自动提取:通过场景边缘性判断指标体系,自动化地筛选出未能被准确识别或结构化不佳的边缘性驾驶场景图像,边缘性驾驶场景包括罕见的道路状况、结构化不佳的交通事件、极端天气条件下的视图;

S33、自动化数据改进:对于自动提取出的边缘场景图像,系统引入了自动化标注技术来改进数据;通过弱监督学习方法,对图像中的各类目标进行二次标注分类,通过迭代学习过程,确保每一帧图像的所有元素都被标记,从而完善模型在处理此类复杂场景时的知识库。

7.根据权利要求1所述的一种基于边缘数据学习增强的智能汽车场景理解方法,其特征在于,所述步骤六的具体方法如下:S61、应用测试模型:将步骤五中经过微调训练得到的qwen-vl模型以及其他开源的典型图像识别大模型,分别应用于步骤一至四所构建和处理的边缘场景数据集,进行场景理解分析;

S62、认知评估场景:对比各模型在基本场景识别上的表现,判断各模型能否准确识别出场景中的车辆、行人、交通标志、道路状况,以及是否能够把握场景的整体布局和结构特点;具体指标设计为:感知类别准确度;

S63、预测对比未来变化:分析各模型预测场景未来变化的能力,比较不同模型的准确度;具体指标设计为:运动主体预测准确性和碰撞风险评估准确性;

S64、模拟评判车辆行为:针对每个场景,评估各模型模拟自动驾驶车辆应采取的合理行为的效果,反映在复杂路况下的决策反应即是否符合交通法规和安全驾驶准则;具体指标设计为:预期行为合理性;

S65、综合评价模型性能:汇总各项评估结果,从多个维度对比不同模型在边缘场景理解与预测任务上的优劣,找出最适合智能汽车应用场景的大模型,设置各指标的权值为0.4、0.3、0.3,对各指标得分进行加权平均。