欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025109209627
申请人: 南昌大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,所述方法包括以下步骤:对所需检测的危险事件进行文本描述,得到所有类别的危险事件的预设文本描述信息,根据所述预设文本描述信息生成所对应的预设参考图像;

将待检测驾驶图像、与所有类别的危险事件的预设文本描述信息,输入至图像文本匹配网络中,计算所有类别的图像文本匹配度;

将所述待检测驾驶图像、与所有类别的危险事件对应的预设参考图像,输入至图像相似度计算网络中,计算所有类别的图像相似度;

对所有类别的图像文本匹配度以及所对应的图像相似度进行计算,筛选出相似值最高的危险事件的类别,实现所述待检测驾驶图像的危险事件的检测,包括:对所有类别的图像文本匹配度以及所对应的图像相似度进行计算,筛选出最高相似值,计算公式如下:,

其中,为第个待测驾驶图的最高相似值,为第个待测驾驶图像与第类危险事件中的预设文本描述信息的图像文本匹配度,为危险事件的总类别,为第个待测驾驶图像与第类危险事件中的预设参考图像的图像相似度;

根据最高相似值的危险事件的类别,实现所述待检测驾驶图像的危险事件的检测。

2.根据权利要求1所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,对所需检测的危险事件进行文本描述,得到所有类别的危险事件的预设文本描述信息,根据所述预设文本描述信息生成所对应的预设参考图像的步骤,具体包括:对所需检测的危险事件进行文本描述,得到所有类别的危险事件的初始文本描述信息;

将所述初始文本描述信息依次输入至文本编码器以及文本特征整合网络进行文本特征提取,得到所有类别的危险事件的预设文本描述信息;

将所述预设文本描述信息输入至视觉语言大模型中,为各类别的预设文本信息生成至少一预设参考图像。

3.根据权利要求1所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,所述图像文本匹配网络包括并行设置的图像支路和文本支路,所述待检测驾驶图像输入至所述图像支路中,所述预设文本描述信息输入至所述文本支路中,所述图像支路包括依次连接的图像编码器和图像特征选择网络,所述文本支路包括依次连接的文本编码器和文本特征整合网络,所述图像支路输出的图像特征与所述文本支路输出的文本特征通过图像文本匹配度计算输出,所述图像特征选择网络包括至少一个残差单元,所述残差单元包括并行的残差支路和跳跃连接支路,所述残差支路的输出和跳跃连接支路的初始输入通过逐像素相加输出,所述残差支路包括依次连接的全连接层和ReLU激活函数层。

4.根据权利要求3所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,所述图像文本匹配度计算的公式为:,

其中,为第个待测驾驶图像与第类危险事件中的预设文本描述信息的图像文本匹配度,为第个待测驾驶图像的图像特征,为图像标志,为第类危险事件中的预设文本描述信息的文本特征,为文本标志,为危险事件的总类别。

5.根据权利要求4所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,所述图像相似度计算网络包括并行设置的两图像支路,两图像支路输出的图像特征通过图像相似度计算输出,所述图像相似度计算的公式为:,

其中,为第个待测驾驶图像与第类危险事件中的预设参考图像的图像相似度,为第个待测驾驶图像的图像特征,为第类危险事件中的预设参考图像的图像特征,为图像标志,为危险事件的总类别。

6.根据权利要求5所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,各类别的危险事件对应个预设参考图像,在预设参考图像输入的图像支路中,图像特征选择网络之后连接有图像特征均值计算网络,以对提取的个图像特征进行均值处理。

7.根据权利要求4所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,所述图像文本匹配网络的训练方法包括:将两张不同驾驶场景的第一历史驾驶图像和第二历史驾驶图像分别输入到视觉语言大模型中生成第一历史驾驶文本和第二历史驾驶文本;

将第一历史驾驶图像与第一历史驾驶文本、第一历史驾驶图像与第二历史驾驶文本、第二历史驾驶图像与第二历史驾驶文本、第二历史驾驶图像与第一历史驾驶文本匹配成四组图像文本对,分别输入至图像文本匹配网络中,计算四组图像文本对的图像文本匹配度;

基于四组图像文本对的图像文本匹配度,构建图像文本匹配网络的损失函数,所述损失函数的计算公式为:,

其中,为图像文本匹配网络的损失函数值,为第一历史驾驶图像与第一历史驾驶文本的图像文本匹配度,为第二历史驾驶图像与第二历史驾驶文本的图像文本匹配度,为第一历史驾驶图像与第二历史驾驶文本的图像文本匹配度,为第二历史驾驶图像与第一历史驾驶文本的图像文本匹配度;

获取下一不同驾驶场景的第一历史驾驶图像和第二历史驾驶图像,迭代计算出图像文本匹配网络的最小损失函数值,根据图像文本匹配网络的最小损失函数值,调整图像文本匹配网络中的参数。

8.根据权利要求5所述的基于零样本学习的驾驶场景中危险事件检测方法,其特征在于,所述图像相似度计算网络的训练方法包括:将两张不同驾驶场景的第一历史驾驶图像和第二历史驾驶图像分别输入到图像变换网络中进行变换,得到第一变换图像和第二变换图像;

将第一历史驾驶图像与第二历史驾驶图像、第一历史驾驶图像与第一变换图像、第二历史驾驶图像与第二变换图像匹配成三组图像对,分别输入至图像相似度计算网络中,计算三组图像对的图像相似度;

基于三组图像对的图像相似度,构建图像相似度计算网络的损失函数,所述损失函数的计算公式为:,

其中,为图像相似度计算网络的损失函数值,为第一历史驾驶图像与第一变换图像的图像相似度,为第二历史驾驶图像与第二变换图像的图像相似度,为第一历史驾驶图像与第二历史驾驶图像的图像相似度;

获取下一不同驾驶场景的第一历史驾驶图像和第二历史驾驶图像,迭代计算出图像相似度计算网络的最小损失函数值,根据图像相似度计算网络的最小损失函数值,调整图像相似度计算网络中的参数。

9.一种基于零样本学习的驾驶场景中危险事件检测系统,其特征在于,用于执行如权利要求1至8中任意一项所述的基于零样本学习的驾驶场景中危险事件检测方法,所述系统包括:文本描述模块,用于对所需检测的危险事件进行文本描述,得到所有类别的危险事件的预设文本描述信息,根据所述预设文本描述信息生成所对应的预设参考图像;

匹配度计算模块,用于将待检测驾驶图像、与所有类别的危险事件的预设文本描述信息,输入至图像文本匹配网络中,计算所有类别的图像文本匹配度;

相似度计算模块,用于将所述待检测驾驶图像、与所有类别的危险事件对应的预设参考图像,输入至图像相似度计算网络中,计算所有类别的图像相似度;

危险事件检测模块,用于对所有类别的图像文本匹配度以及所对应的图像相似度进行计算,筛选出相似值最高的危险事件的类别,实现所述待检测驾驶图像的危险事件的检测。