欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020113796185
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,包括以下步骤:步骤S1:训练数据生成模块获取理想的数据输入;

数据输入包括:被预测车辆和其周围车辆的车辆标号v_ID、被预测车辆和其周围车辆的车辆横坐标x和纵坐标y、被预测车辆和其周围车辆的车辆车速v_vel、被预测车辆和其周围车辆的车辆加速度v_acc以及被预测车辆和其周围车辆的车道编号Lane_ID;

步骤S2:训练数据生成模块利用安装了GPS和摄像头的无人机获取数据,再用训练数据生成方法生成训练数据;

步骤S3:利用训练数据生成模块生成的训练数据在离线训练模块中进行车辆行为和轨迹预测模型的训练;

步骤S3具体为:

步骤S31:用栅格图表示模块表示被预测车辆与周围车辆位置关系;

步骤S32:进行深层次特征提取,使用对抗网络编码器对训练数据进行无监督特征提取,提取每辆车的动力学特征和驾驶风格;

步骤S33:进行特征编码,采用门控循环单元进行车辆动力学和驾驶风格的编码;

步骤S34:对场景中所有的车辆进行编码之后,根据每个车辆相对于被预测车辆的位置,进行特征向量填充,将编码后的特征依次填充入其对应的栅格图中形成社交语义向量,从而获得了一个类图像特征表示形式;

步骤S35:在卷积模块中,使用3×3卷积,3×1卷积以及残差率为2的2×2残差卷积处理社交语义向量;

步骤S36:在全连接模块中,使用全连接层将编码的被预测车辆特征进行连接,得到对被预测车辆状态的描述,之后将被预测车辆的状态描述和卷积模块输出的场景社交语义向量进行联结,得到完整的场景描述;

步骤S37:利用Softmax层对车辆的行为进行预测,得出车辆在每个行为下的概率;将Softmax层的输出的行为概率分为两个分支,一个输入到行为预测输出模块,输出被预测车辆的行为,一个与完整的场景描述进行联结后输入到多模态轨迹预测模块,得到被预测车辆的多模态轨迹;

步骤S38:将多模态轨迹预测模块输出的多模态轨迹和行为预测输出模块输出的行为概率都输入到行为和轨迹输出模块,以得到多模态行为和轨迹预测结果;

步骤S4:使用训练数据生成模块输出的训练数据并保存离线训练模块中行为和轨迹预测模型的参数,之后利用该模型在在线预测模块中进行行为和轨迹预测。

2.根据权利要求1所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述步骤S2具体为:步骤S21:获取无人机传送来的交通场景视频序列,将获得的视频序列分别输入到相机匹配模块、车辆检测模块以及车道线检测模块;

步骤S22:相机匹配模块计算无人机上相机的内外参数;车辆检测模块检测视频序列模块传递来的交通场景视频中的车辆,并将车辆标号v_ID、帧编号frame_ID、车辆类型v_class、车辆包围盒信息和相机匹配模块计算的车辆内外参数一起输入到轨迹片段生成模块生成对应每个v_ID的轨迹片段;

其中车辆包围盒信息包括车辆包围盒和车辆包围盒的中心坐标;

步骤S23:然后将生成的轨迹片段输入外观建模模块和损失计算模块,外观建模模块对轨迹片段的每个车辆包围盒中的内容进行建模,并将外观建模损失输入到损失计算模块;

损失计算模块将光滑度损失、速度变化损失、时间间隔损失和外观建模模块传递来的外观建模损失结合计算轨迹的损失函数,损失函数值越小,表示轨迹匹配的效果更好;

步骤S24:将计算的损失函数输入轨迹聚类模块;轨迹聚类模块包括了分配、融合、分割、调换以及打断5种操作,通过比较这5种操作下的损失函数变化值,找到其中的最小变化值并执行损失函数变化最小的值所对应的操作;

步骤S25:最后将车辆标号v_ID、车辆车速v_vel、车辆加速度v_acc、车辆横坐标x,车辆纵坐标y、车辆类型v_class、帧编号frame_ID以及车道线检测模块检测的车道编号Lane_ID信息输入到csv数据输出模块中得到对应的数据。

3.根据权利要求2所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述步骤S21中,通过无人机获取无人机位置的同时获得驾驶场景的俯视图,通过无人机上的GPS传递来的信息始终保持无人机在被预测车辆上方30‑150m之间;

所述相机匹配模块接受到视频序列后,使用消失点法对无人机相机的内参数和外参数进行标定,之后利用标记好的参数将车辆检测模块检测出来的车辆包围盒的中心坐标反向映射到3维空间中计算车辆在真实场景中的位置坐标信息;

所述车辆检测模块利用基于YOLOv4的车辆检测算法进行车辆检测,采用预训练的权重来初始化网络;

所述车道线预测模块,利用语义分割的方法检测出视频序列中的车道线,将车道线检测结果和检测出来的车辆位置进行对比匹配,获得每个车辆ID在每帧图片所占的车道线信息。

4.根据权利要求2所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述步骤S22中的轨迹片段生成模块生成对应每个v_ID的轨迹片段包括以下步骤:步骤S22.1:得到真实场景中的位置坐标信息后,将每幅图片中所有被检测出的车辆对应的真实场景下的位置信息输出,连续输入多个相邻图片中的车辆位置信息,就可以得到车辆在不同连续时刻的位置坐标;

步骤S22.2:采用基于密度的聚类算法,得到的多个车辆的位置坐标进行分组,使其分成多个不同的轨迹片段,轨迹片段的数量与相机中出现的车辆的数量相同;

步骤S22.3:最后,使用聚类方法对轨迹片段进行连接以形成更长的轨迹;

其中聚类操作通过最小化聚类损失函数来实现,损失函数为:

li=λsmli,sm+λvcli,vc+λtili,ti+λacli,ac其中l表示该场景中所有轨迹的损失函数;nv表示相机拍摄的视频中车辆的数量,li是第i条轨迹的聚类损失,li,sm是轨迹i的光滑度损失,li,vc是车速变化损失,li,ti是两个相邻轨迹片段间的时间间隔损失,li,ac是车辆的外观变化损失;λsm表示轨迹光滑度损失的正则化参数、λvc表示车速变化损失的正则化参数、λti表示相邻轨迹片段时间间隔损失的参数化参数、λac表示车辆外观变化损失的正则化参数;

其中光滑度损失为测量属于同一条轨迹的轨迹片段的光滑度,每条轨迹中的轨迹片段根据进入的时间顺序进行排序,使用加速度来测量两段相邻轨迹片段间的速度变化,通过轨迹片段的连接区域的加速度变化以及轨迹片段之间的时间间隔判断轨迹片段是否属于同一个车辆的轨迹;

其中车辆的外观变化损失是利用基于直方图的自适应外观模型来计算。

5.根据权利要求2所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述步骤S23具体过程是:对轨迹片段生成模块生成的每个轨迹片段的位置坐标对应的车辆检测模块中检测出来的车辆包围盒中的图像中的内容进行建模,用RGB颜色直方图、HSV颜色直方图、Lab颜色直方图、线性二元模式直方图以及方向梯度直方图组合描述包围盒中车辆的特征,对每个车辆包围盒中的图像内容进行精确的建模;通过比较不同包围盒的五种直方图组合,确定每个包围盒中被检测车辆的一致性;利用轨迹中所有轨迹片段的相邻两个直方图组合之间的差值来定义自适应外观模型损失,损失值越小,轨迹中的轨迹片段属于同一个轨迹的概率越大。

6.根据权利要求2所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述步骤S24中的轨迹聚类模块中的分配操作具体为:将所有轨迹片段tj组成的轨迹集合记为T(j),T(j)属于车辆j的轨迹;在所有的轨迹中进行搜索,将轨迹片段tj分配给能产生最小损失的轨迹;分配操作后的损失变化被定义为:其中:Δlj,as是分配操作后的损失变化,l(T(j)\tj)表示将轨迹片段tj从T(j)中去除后轨迹集合T(j)的损失,l(T(i)∪tj)表示将轨迹片段tj并入T(j)后轨迹集合T(i)的损失,l(T(j))和l(T(i))分别表示轨迹集合T(j)和轨迹集合T(i)的损失;

所述轨迹聚类模块中的融合操作:对于每个轨迹片段,如果将两个轨迹集合融合之后能够获得更小的损失值,便将它对应的轨迹集合T(j)与另一个轨迹集合T(i)进行融合,同样,融合操作的损失变化定义为:其中,Δlj,mg是融合操作后的损失变化,l(T(j)∪T(i))表示将轨迹集合T(j)和轨迹集合T(i)进行融合后的损失;

所述轨迹聚类模块中的分割操作:使用分割操作将一个轨迹片段从当前的轨迹集中分割下来从而形成一个独立的轨迹集;分割操作的损失变化定义为:Δlj,sp=(l(tj)+l(T(j)\tj))‑l(T(j))

其中,Δlj,sp是分割操作后的损失变化,l(tj)是从T(j)中分割下来的轨迹片段tj产生的损失,l(T(j)\tj)表示从轨迹集合T(j)分割出tj后产生的损失;

所述轨迹聚类模块中的调换操作:对于一个轨迹集合T(j),将tj之后的轨迹片段表示为Taft(j),之前的轨迹片段表示为Tbef(j);将Tbef(i)和Tbef(j)进行调换并求取调换后与调换前的损失变化,其中,Δlsw表示调换操作后的损失变化,l(Taft(j)∪Tbef(i))表示将Taft(j)和Tbef(i)进行融合后的损失,l(Tbef(j)∪Taft(i))表示将Tbef(j)和Taft(i)进行融合后的损失;

所述轨迹聚类模块中的打断操作:将T(j)分割成Taft(j)和Tbef(j),来计算打断操作的损失:Δlbk=(l(Tbef(j))+l(Taft(j)))‑l(T(j))其中,Δlbk表示打断操作后的损失变化,l(Tbef(j))表示轨迹集合Tbef(j)的损失,l(Taft(j))表示轨迹集合Taft(j)的损失。

7.根据权利要求1所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述对抗网络编码器由一系列编码器和解码器组成,编码器将输入数据编码成新的特征表示,解码器处理这个特征从而获得输出;

对抗网络编码器模型的第k层为:

k k k k‑1 (k‑1,k)

H=F(WH +B )

k k kT k (k,k‑1) k‑1

Z=G(W H+B )≈H

k‑1 k

其中,H 表示第k‑1层解码器重建样本隐藏特征表达式的集合;H表示第k层解码器重k k k建样本隐藏特征表达式的集合,Z是第k层重建样本的集合;F和G分别表示第k层输入层和k (k‑1,k) kT隐藏层的激活函数,W和B 分别表示第k层输入层到隐藏层的权重矩阵和偏置向量;W(k,k‑1)和B 是第k层隐藏层到输出层相应的权重矩阵和偏置向量;

k‑1 k

通过调整抗网络编码器模型的参数使H 和Z尽可能相似,得到更深层次的特征表示D=[d1,d2,...,di,...,dN],其中N表示输入的样本数量,N=1,2,3,...,i,...,N;d表示每个车辆在每个时间的深层次特征;

在获得了每个车辆在每个时间的深层次特征d之后,将属于每个车辆的特征按照时间先后顺序排列,从而得到每个车辆i对应的过去时间段内的深层次特征Mi:其中t表示时间,th表示历史观测时域。

8.根据权利要求1所述的一种基于车辆‑无人机协同的高速公路车辆行为和轨迹预测方法,其特征在于,所述步骤S4具体为:步骤S41:将车辆的轨迹分为8s的片段,用前3s的历史轨迹来提取车辆的历史特征,并对后5s的轨迹进行预测;模型的输入X是被预测车辆及其周围车辆的过去3s的轨迹历史:其中,

xt表示被预测车辆及其周围车辆在t时刻的状态集合,t=t‑th,...,t‑2,t‑1,t;th表示历史观测时域; 表示第n个车辆在时刻t的状态信息,n=0,1,...,n;n表示被预测车辆周围车辆的数量;

步骤S42:输入车辆的位置坐标x和y,车道编号Lane_ID,车辆的类型v_class,车辆的速度v_vel,车辆的加速度v_acc,车辆的横向行为编码LAT来表示车辆的状态:s=[x,y,Lane_ID,v_class,v_vel,v_acc,LAT]如果车辆在未来5s中的进行左换道,LAT=[1,0,0],如果进行右换道,LAT=[0,1,0],如果车辆继续保持当前车道,LAT=[0,0,1];

步骤S43:在一个有n个车辆的交通场景中,将所有车辆在之前3s中的历史特征X作为模型的输入,并对其未来5s的行为进行预测:M={左变道,右变道,直行}

其中M表示车辆行为集合

并预测车辆未来预测时域tf为5s的轨迹分布:

其中,

其中P表示预测时域tf内未来车辆位置,pt+1表示预测时域tf时刻车辆的位置; 表示预测时域tf时刻处车辆的纵向坐标, 表示预测时域tf时刻处车辆的横向坐标。