欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021106708894
申请人: 湖北汽车工业学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于残差注意力机制的车辆轨迹预测方法,其特征在于:包括以下步骤:步骤1:采集目标车和其周围车辆的历史轨迹信息,对历史轨迹预处理,滤除轨迹信息中的噪音和无效数据,制作轨迹数据集;

步骤2:根据目标车作用域构建交互张量,将周围车辆的历史轨迹编码填充在交互张量对应位置;

步骤3:利用残差注意力模块计算交互张量中周围车辆历史轨迹编码隐态向量的权重系数,根据权重系数重新配置交互张量;

步骤4:通过池化卷积层提取出交互特征,结合目标车运动特征完整交互特征,根据完整交互特征解码得到目标车未来预测轨迹;

步骤5:通过均方误差损失函数训练模型,推算出模型里的中间参数。

2.根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法,其特征在于:所述步骤1中,采集目标车和其周围车辆的历史轨迹信息,对历史轨迹预处理,滤除轨迹信息中的噪音和无效数据,制作轨迹数据集,具体方法如下:目标车上部署的GPS/IMU、车身周围的双目相机系统记录目标车自身的轨迹数据和周围车的行驶视频,通过立体视觉目标检测技术获得周围车辆的轨迹数据;目标车和周围车的轨迹包含采集的时间戳、车辆编号、车辆的轨迹横、纵向轨迹坐标、车辆所处道路的编号,将轨迹信息下采样到5Hz,滤除轨迹中小于8s且在目标车作用域外的车辆轨迹;用卡尔曼滤波去除轨迹中的噪声,并采用滑动窗口采样数据样本,将所采集到的所有样本按7:1:2的比例划分为训练集、验证集、测试集。

3.根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法,其特征在于:所述步骤2中,将目标车和周围车的历史轨迹输入LSTM编码器获得历史轨迹的编码隐态向量,再根据定义的目标车作用域制作一个[13,3]交互张量;将周围车辆的历史轨迹的编码隐态向量按照作用域中相对目标车所处的位置,计算出在交互张量中的填充位置、 。

4.根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法,其特征在于:所述步骤3中,利用残差注意力模块计算交互张量中周围车辆历史轨迹编码隐态向量的权重系数,根据权重系数重新配置交互张量;具体方法如下:将交互张量 通过n层最大池化层,快速增大感受野,再通过n层上采样层,使得交互张量恢复到原来的维度,通过双线性插值的方法赋予交互张量中元素新的值,得到特征交互张量 : ;

再将特征交互张量 通过sigmoid激活函数归一化: ,得到权重张量 ,将权重张量 与原始交互张量 做点乘,原始的交互张量中得各个元素值按照权重对应位置的系数等比缩放,获得带有权重的交互张量 ;

为避免错误计算出的注意力权重破坏原始交互张量中的交互特征,引入残差连接来消除错误的影响,交互张量 的计算方式变为: 。

5.根据根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法,其特征在于:所述步骤中4中,通过池化卷积层提取出交互特征,结合目标车运动特征完整交互特征,根据完整交互特征解码得到目标车未来预测轨迹;具体步骤为:(1)交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征 :;

(2)将 时刻目标车历史轨迹的编码隐态向量 通过全连接层,得到目标车历史轨迹中的运动特征 ;

(3)将目标车历史轨迹的运动特征 与增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征 拼接在一起,得到完整的交互特征;

(4)将完整交互特征 和上一时刻 解码隐态向量 一同输入LSTM解码器,得到 时刻预测轨迹的解码隐态向量 ;

(5)将当前时刻的解码隐态向量通过多层感知机映射到未来预测轨迹的概率分布:,模型实际预测出的预测时域内的轨迹坐标可用预测分布的均值表示。

6.根据根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法,其特征在于:所述步骤中5中,通过均方误差损失函数训练模型,推算出模型里的中间参数,模型训练以最小化预测时域内均方根误差为目标,反向传播误差,通过Adam优化器更新权重参数,保存轨迹预测模型泛化能力最好时的模型权重参数,完成模型训练。

7.根据根据权利要求1所述的基于残差注意力机制的车辆轨迹预测方法,其特征在于:包括如下步骤:

A、轨迹数据采集及对采集到的数据预处理;

A1、在一段开放道路上部署数据一辆采集车辆,采集车辆上搭载一套GPS/IMU系统和一套分布车身周围的双目相机系统;GPS/IMU系统用于记录采集车每一时刻的行驶轨迹坐标,双目相机系统用于记录测试车辆周围的车辆行驶视频;定义采集车前进方向为y轴正方向,车辆后轴中心为坐标原点,垂直于y轴的方向为x轴;

A2、采集车辆自身的轨迹坐标信息按照10Hz的频率自动存入“.txt”文件内,周围车的视频信息按照10FPS的帧数存成“.mp4”格式;在已知相机相对采集车后轴中心的安装位置参数基础上,按帧数对视频每一帧中出现的车辆运用立体视觉目标检测算法获得车辆的轨迹信息,车辆轨迹信息包括:采集时刻的时间戳Time_stamp、车辆编号Vehicle_number、车辆相对自车的轨迹坐标(x,y)和车辆所处的道路编号Lane_number;

A3、提取出来的轨迹信息全部保存在“.txt”文件中,使用numpy库中的numpy.loadtxt方法读取轨迹文件;由于原始数据存在较大的噪声,对读取到的轨迹数据进行Kalman filtering平滑;

A4、对平滑后的轨迹数据按照时间戳升序排列,其中每行数据表示对应编号为Vehicle_number车辆在Time_stamp时刻的轨迹信息,包含5列,第1列为采集的时间戳,第2列为车辆编号,第3、4列分别为车辆的轨迹横、纵向轨迹坐标,第5列为车辆所处道路的编号;

A5、此时的轨迹信息仍保持为10HZ的采样频率,为降低模型计算成本,增强模型实时性,对轨迹信息下采样到5HZ;

A6、从下采样后的轨迹信息中按照车辆编号Vehicle_number为索引提取出所有车辆的轨迹信息,滤除所记录时长小于8s的车辆轨迹信息;

A7、定义测试车的作用域A,以目标车后轴中心作为坐标原点,纵向[‑32.5m,32.5m]和左右三车道区域内的面积定义为,滤除区域外的车辆轨迹信息,认为区域外的周围车辆对目标车造成的影响都可以忽略;

A8、再使用窗口大小为40的滑动窗口在各个编号的车辆轨迹上滑动采集模型输入数据样本,每个样本的前15行和后25行分别对应于模型输入的历史轨迹信息和预测时域内的真实轨迹信息;

A9、将采集到的数据样本按照7:1:2的比例分成训练集、验证集和测试集;

B、对输入数据编码

B1、给定 时刻整个历史观测域长his内目标车 和其周围车 的轨迹坐标:,其中,t时刻目标车和周围车 的轨迹坐标为 ,  , 为输入历史轨迹时域,取3s;

B2、目标车和周围车的历史轨迹坐标点经过全连接层,生成对应的词嵌入向量其中, 为全连接层函数, 为全连接层的权重;

同理,可获得 时刻历史时域内所有周围车和目标车所有位置坐标对应的词嵌入向量,即: ,其中 , ;

B3、将t时刻所有周围车和自车历史轨迹的词嵌入向量 和上一时刻t‑1时历史轨迹的编码隐含状态向量 一同输入LSTM编码器得到当前时刻历史轨迹的隐含状态向量 ,其中 为LSTM编码器,负责将t时刻每辆车的轨迹词嵌入向量 编码成隐含状态向量, 为编码器的权重;

B4、对每辆车所有历史时域内的位置坐标执行相同的词嵌入和编码操作,可得到每辆车历史时域内的隐态向量;其中 和 分别为时刻周围车辆编号为i的车和目标车的编码隐含状态向量;

同理,可获得 时刻整个历史观测长度内周围车和目标车所有轨迹坐标对应的编码器状态向量 ,即:

, ;

B5、根据道路结构将目标车作用域A划分为[13,3]网格区域,网格的列对应每条车道,网格每一行的高度为5m,对应于一般车辆的长度;周围车辆的编码隐态向量在交互张量中的行号c、列号r,根据t时刻周围车相对于目标车位置偏移计算得到:其中,c的取值范围是(‑1,0,1),r的取值范围是(‑6,‑5,‑4,‑3,‑2,‑1,0,1,2,3,4,5,

6); 为向下取整函数;  为每条车道的宽度,按照国家标准取值为3.75m; 为行高取值为5m,表示一般车辆的长度;将t时刻所有车辆轨迹坐标点的编码隐态向量填充在交互张量 中的对应位置;

B6、将整个历史时域内的交互张量叠加在一起,即获得时刻整个历史时域内的所有车辆的交互张量 , ;(如果没有特别指出,后续的交互张量皆指代整个历史时域内的车辆交互张量 )其中, 是拼接函数;

C、通过注意力模块增大交互张量中对目标车未来行驶轨迹影响较大的周围车历史隐态向量的权重系数,并提取交互张量中的交互特征;

C1、注意力模块计算交互张量中周围车对目标车未来行驶轨迹的影响权重;

将交互张量 通过n层最大池化层,快速增大感受野,以关注交互张量全局,提取出交互张量中最具代表的元素;再通过n层上采样层,对称缩放结构使得交互张量恢复到原来的维度,在保持交互张量中最具代表性的元素值和位置不变的前提下,通过Bilinear Interpolation双线性插值的方法赋予交互张量中元素新的值,得到特征交互张量 :其中, 为n次最大池化层函数,为n次上采样层函数;

再将特征交互张量 通过sigmoid激活函数归一化: ,得到权重张量 ,表示了交互张量中各个车辆隐态向量的权重系数;

C2、根据影响权重重新配置交互张量;

将权重张量 与原始交互张量 做点乘,原始的交互张量中得各个元素值按照权重对应位置的系数等比缩放,弱相关的车辆特征被抑制,强相关的车辆特征值被放大,获得增强交互特征后的交互张量 ;但为避免错误计算出的注意力权重系数对交互张量的负影响,隐性的破坏原始交互张量中的交互特征,引入残差连接来消除错误注意力的影响,增强交互特征后的交互张量 的计算方式变为: ;

C3、用卷积池化层提取增强交互特征后的交互张量 的交互特征;

增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征:

其中的 是卷积池化层函数;

D、提取目标车历史轨迹中的运动特征,与 拼接获得完整的交互特征D1、获取目标车历史运动的特征;

虽然周围车对目标车的交互作用会影响目标车未来的轨迹,但目标车自身的历史轨迹中包含的信息对未来行驶轨迹的确定起着更加关键的作用;将 时刻目标车历史轨迹的编码隐 态向量 通过全连接层,得到目标车历史轨迹中的运 动特征;

是全连接层,用于将目标车历史隐态向量映射到运动特征, 是 层的权重;

D2、将目标车历史轨迹的运动特征 与增强交互特征后的交互张量通过卷积池化层提取出目标车与周围车辆间的交互特征 拼接在一起,得到完整的交互特征 :,其中, 是拼接函数;

E、预测轨迹解码输出

E1、将完整交互特征 和上一时刻 解码隐态向量 一同输入LSTM解码器,得到 时刻预测轨迹的解码隐态向量其中, 为LSTM解码器, 为编码器中参数的权重;

E2、假设预测未来轨迹坐标服从二元高斯分布,将当前时刻的解码隐态向量通过多层感知机映射到未来预测轨迹的概率分布:其中, 为多层感知机函数, 为多层感知机中参数的权重;均值、方差 、相关系数为 ;

因此 时刻模型实际预测出的预测时域内的轨迹坐标可用预测分布的均值表示,即:其中,  , , 表述预测

时域长度,定为5s;

F、模型过程参数推导和优化

F1、模型通过输入当前时刻3秒前的目标车和周围车辆的历史轨迹坐标,来预测5秒后的目标车轨迹坐标;预测轨迹和真实轨迹间的偏离程度通过RMSE(均方根误差)来表示,通过最小化RMSE的损失值,反向传播误差学习到模型中的参数,RMSE计算公式如下式: 其中, , 表示对应预测时域内的真实轨迹坐标。