1.一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:包含以下步骤:步骤1,利用双目摄像机和毫米波雷达,获取图像和回波数据,进而得到行人的水平空间坐标定位;
步骤2,将行人的水平空间坐标和对应的定位时间组合作为行人的状态向量;
步骤3,利用行人状态向量构造存在最佳匹配的二分图;
步骤4,利用KM算法解决寻找加权二分图的最佳匹配,通过连续地将当前最新定位结果匹配到轨迹上,进而获得所有行人在一定时间段内的历史轨迹序列;
步骤5,对获得的历史轨迹使用卡尔曼滤波,消除轨迹中存在的噪声,获得真实的行人历史轨迹;
步骤6,使用行人运动状态图来确定可能对目标行人造成影响的邻近行人,并构造邻近行人历史轨迹;
步骤7,分别将目标行人的历史轨迹、邻近行人的历史轨迹输入行人历史轨迹编码器和临近历史轨迹编码器,并通过基于正弦和余弦函数的位置编码为输入的行人运动状态添加时序信息;
步骤8,基于Transformer的行人轨迹预测模型TTPM使用未来轨迹编码器来建模行人未来所处的位置对更远未来时刻位置造成的影响;
步骤9,三种轨迹编码器基于Transformer提供的注意力机制对轨迹进行编码,同时生成记忆向量,然后拼接行人历史轨迹编码器与邻近历史轨迹编码器生成的记忆向量来汇总两种轨迹对行人未来轨迹的影响;
步骤10,TTPM使用池化及多层感知器来提取数据的分布特征,并基于重采样技术生成行人位置潜状态,最终使用未来轨迹解码器根据行人位置潜状态生成对目标行人未来轨迹的预测。
2.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤1中包括如下步骤:步骤1-1,双目摄像机获取待测区域的深度数据矩阵和RGB图像矩阵;毫米波雷达并行地获取回波数据;
步骤1-2,使用人体姿态估计算法从RGB图像矩阵中计算行人人体关键点的像素坐标,再从深度图像中获取关键点的像素坐标的空间笛卡尔坐标,计算空间水平坐标(X,Y);
步骤1-3,对回波数据使用AOA算法,将步骤1-2中的坐标(X,Y)作为标签,将所得数据输入卷积神经网络,得到准确的雷达回波模型;
步骤1-4,对步骤1-2中的数据使用OS-CFAR算法去噪后,使用DBSCAN聚类算法对人员反射信号点分簇,提取每一簇的中心后通过坐标映射,得到行人在雷达极坐标系中的坐标(R,θ);
步骤1-5,将(X,Y)通过坐标变换后,得到对应的极坐标,将其与毫米波雷达得到的极坐标(R,θ)使用KM加权二分图匹配算法,得到最终行人的水平空间坐标(xi,yi)。
3.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤2包括如下步骤:步骤2-1,根据获取的水平空间坐标定位,当存在多条行人轨迹,每条轨迹的最后一次定位发生于t-1时刻,水平空间坐标为(xi,yi),行人的状态向量表示为ui=(t-1,xi,yi),i=1,2,…,q;
步骤2-2,设当前t时刻共产生k个水平空间定位结果(xj,yj),每个定位结果的状态向量表示为vj=(t,xj,yj),j=1,2,…,k。
4.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤3包括如下步骤:步骤3-1,将每个最近出现过的行人的最后状态向量作为构成二分图的子图U的顶点;当前时刻各个行人的状态向量构成二分图的另一子图V的顶点;
步骤3-2,为步骤3-1中构造的子图U和V中的每一对顶点添加无向边(u,v),u∈Uv∈V,每条无向边的权重为顶点u和v之间的欧几里得距离;
步骤3-3,考虑到毫米波雷达实际定位过程中,存在二分图中每个子图的顶点数不相同的问题,对数量少的子图添加虚拟顶点。
5.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤6包括如下步骤:步骤6-1,将行人的运动状态表示为一个6维状态向量,其中包括行人的位置向量速度向量以及加速度向量步骤6-2,构造行人运动状态图G=(V,E)来动态模拟行人和与其相邻行人的交互关系;将每个行人表示为顶点v∈V,当两个行人vi和vj的距离过近时,认为会对彼此的行进轨迹会产生影响,因此建立无向边e=(vi,vj)∈E,无向边e的权重为两行人之间的欧几里得距离;
步骤6-3,对于图中每一个行人vi,将所有与vi存在无向边的行人v的运动状态与vi的运动状态合并,将运动状态向量中的6个维度逐维相加,将不定长的相邻行人状态序列转为定长的邻近历史轨迹Xedge,且Xedge与行人历史轨迹Xobs有相同的维度和大小。
6.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤7中,行人历史轨迹编码器接收行人历史轨迹的输入,进行向量编码后和位置编码一并进行多头注意力机制以及残差和归一化操作,接着进行前馈以及残差和归一化操作;邻近历史轨迹编码器接收邻近历史轨迹的输入,进行向量编码后和位置编码一并进行多头注意力机制以及残差和归一化操作,接着进行前馈以及残差和归一化操作;两个编码器的输出进行拼接得到记忆向量C。
7.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤7中,向行人运动状态中添加时序信息步骤如下:步骤7-1,对于一个给定的长度为H的轨迹序列,以t表示运动状态的时间步,表示t时间步运动状态对应的位置向量,D是嵌入维度,d是当前维度,PE是生成位置向量的函数,定义如下:其中,频率ωd定义如下:
则是一个包含每个频率的正弦和余弦对;
步骤7-2,将位置编码向量加入到对应的嵌入向量E,得到新的具有位置信息的嵌入向量E':利用正余弦函数对轨迹序列进行位置编码,保证了对于时间长度不同的两个轨迹序列,任何两个运动状态之间的距离也是一致的,使模型在面对不同长度的输入轨迹序列时具有泛化能力。
8.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤8中的未来轨迹编码器,接收未来轨迹的输入,通过向量编码,和位置编码一并进行多头注意力机制以及残差和归一化操作,接着进行前馈以及残差和归一化操作,然后和通过键值对输入的记忆向量C再此进行多头注意力机制以及残差和归一化操作,最终进行前馈操作并输出。
9.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤8包括如下分步骤:步骤8-1,未来轨迹编码器在行人自身历史轨迹以及邻近行人历史轨迹的基础上建模行人的未来轨迹概率分布p(Y|Xobs,Xedge)。
步骤8-2,将行人潜状态定义为Z,行人未来轨迹概率分布可以定义为以下公式:p(Y|Xobs,Xedge)=∫p(Y|Xobs,Xedge,Z)p(Z|Xobs,Xedge)dZ其中,p(Z|Xobs,Xedge)是由行人历史轨迹Xobs及邻近行人历史轨迹Xedge推断出的高斯先验分布。
步骤8-3,为了近似估计p(Z|Xobs,Xedge)和p(Y|Xobs,Xedge,Z)的概率分布,利用行人历史轨迹编码器、邻近历史轨迹编码器、未来轨迹编码器、未来轨迹解码器四个部分组成编码-解码器网络。
10.根据权利要求1所述的一种基于Transformer的毫米波雷达行人轨迹预测方法,其特征在于:步骤10中的未来轨迹解码器,首先接收行人潜状态Z的输入,通过向量编码,和位置编码一并进行多头注意力机制以及残差和归一化操作,然后和通过键值对输入的记忆向量C再此进行多头注意力机制以及残差和归一化操作,最终通过前馈以及残差和归一化操作输出行人未来位置,并再进行向量编码至残差和归一化操作的循环流程。