1.一种拥堵十字路口场景下的交警手势识别方法,其特征在于,包括以下步骤:步骤一、路端高清摄像机、车端高清摄像机的布置及校准;
步骤二、十字路口内交警目标、手势特征数据的采集、标注、制作数据集;
步骤三、路端交警目标确定及手势识别算法的训练;
步骤四、车端测距及车端路端信息融合,并识别拥堵十字路口场景下的交警手势。
2.根据权利要求1所述的一种拥堵十字路口场景下的交警手势识别方法,其特征在于,所述步骤一的具体方法如下:
a)在尺度为w×b的十字路口中,其中,b为面向车辆的路口宽度,w为b垂直方向的十字路口道路宽度,将每个路边缘的拐点设置为基准点,并安放高度为h的路基,路基上安放n个路端高清摄像机,其中,n≥4,且距离地面高度h的顶端上至少安放一个高清摄像机,每个所述路端高清摄像机从不同方向检测十字路口道路内的同步高清视频信息,包含交警、车辆和行人,所有的高清摄像机检测的视频内容应包含十字路口垂直空间内的所有信息;所述高清摄像机利用张友正相机标定法对各个高清摄像机进行单独标定,并利用对极几何约束的方法对所有高清摄像机进行联合校准,以能够准确识别和定位目标;
b)车端双目高清摄像机由两个高清单目相机组合形成;所述双目高清摄像机用于车端感知前方道路目标信息;所述双目高清摄像机利用张友正相机标定法对高清摄像机进行单独标定,并利用对极几何约束的方法对高清摄像机进行校准,以能够准确识别和定位目标;
c)在每个路基高度为h0处设置1个区别于交通指示牌的醒目指示标志作为路端高清摄像机检测到的十字路口空间与车端双目高清摄像机检测到的十字路口空间进行匹配关联的基准装置。
3.根据权利要求1所述的一种拥堵十字路口场景下的交警手势识别方法,其特征在于,所述步骤二的具体方法如下:
利用路端高清摄像机拍摄车辆行人拥堵、交通指示灯正常工作的路口的、不同视角下的同步的高清视频,所述高清视频作为训练的数据集;训练的数据集标注基准如下:a)定义车辆坐标系;
车辆前进方向为y轴,垂直于y轴的右方向为x轴,垂直于x、y轴平面向上的方向为z轴;
将路基坐标系定义为:面向车辆的十字路口向右的方向为x′轴,垂直于x′轴且与车辆x轴朝向一致的方向为y′轴,面向车辆且距离最近的左侧垂直地面的路基方向作为z′轴方向;
b)标注交警类别;
标注时的分类有:交警、交通指示灯、车辆、行人及障碍物;
当交警存在时,交警的优先级大于交通指示灯;识别交警手势前要正确识别交警目标,将交警按是否存在制服特征这一标准,将身着制服的交警目标标注为交警类别,且上装的优先级高于帽子,同时还要对交警朝向进行标注,交警朝向和手势共同决定指挥方向;
c)标注交警手臂关节点和骨骼;
交警的交通指挥手势由左右手臂共同完成,即只对交警每个手臂的10个手指关节点,1个腕关节点,1个肘关节点和1个肩关节点标注即可,每个路端高清摄像机或车端双目高清摄像机检测到的每个关节点都包含三个维度坐标信息,手指关节点(h1…h10)坐标(hx1,hy1,hz1)…(hx10,hy10,hz10),腕关节点w坐标(wx1,wy1,wz1),肘关节点e坐标(ex1,ey1,ez1)和肩关节点坐标s:(sx1,sy1,sz1),所有关节点形成一个标注列表Joints,所有关节点连接成骨骼Limb,形成一个骨骼标注列表;当某个高清摄像机未检测到关节点时,坐标值设置为0;交警各个关节点在三维空间的真实位置通过三角测量方法来计算;具体如下:Joints=[(hx1,hy1,hz1)…(hxk,hyk,hzk),(wx1,wy1,wz1),(ex1,ey1,ez1),(sx1,sy1,sz1)]Limb=[(h1,h2),(h3,h4),(h5,h6),(h7,h8),(h9,h10),(h2,w),(h4,w),(h6,w),(h8,w),(h10,w),(w,e),(e,s),其中,w为腕关节点坐标;e为肘关节点坐标;s为肩关节点坐标;
d)标注交警的手势;
根据实际交警的不同手势,为不同手势进行分类标注,用于不同手势识别的训练。
4.根据权利要求1所述的一种拥堵十字路口场景下的交警手势识别方法,其特征在于,所述步骤三的具体方法如下:
a)采用高分辨率输出神经网络模型HRNet作为特征提取的主干网络训练各个高清摄像机的2D关节点检测;
b)来自不同高清摄像机的同一关节点通过三角测量计算恢复交警手臂在空间中的3D关节点信息;车端和路端的算法的训练数据集相同,只是高清摄像机数量不同;训练过程为提高3D关节点位置的检测精度,训练3D关节点恢复时的损失函数Loss定义为所有关节点检测值kd与真值kgt即标注距离误差的2范数,此损失函数同样适用于在车端不存在交警检测视野盲区的状况车端双目摄像机检测交警关节点的训练;Loss的具体定义为:其中,kd为所有关节点空间检测坐标值;kgt为所有关节点空间真实坐标值。
5.根据权利要求1所述的一种拥堵十字路口场景下的交警手势识别方法,其特征在于,所述步骤四的具体方法如下:
在车端和路端高清摄像机完成校准、算法训练结束后,以基准装置为媒介,将路端多视角检测到的范围为w×b×h的长方体区域及内部的目标信息作为整体,与车端检测到的同一区域的空间和目标信息融合,b为面向车辆的路口宽度,w为b垂直方向的十字路口道路宽度,h为路基顶端高清摄像机距离地面的高度;车端双目摄像机检测到车端与最近的两个路基基准装置的实际距离为分别为d1,d2,车端双目相机坐标系x轴与十字路口路基坐标系x′轴水平夹角为α,路端的检测信息将以路基坐标系原点O为基准,绕z′轴旋转α角度至与车端相机坐标系x轴至同一方向,然后按照缩放尺度系数m缩放显示在车载电脑中,车载电脑实时显示和播报是否存在交警及交警手势的指挥提示语音,检测结果作为输入,传输到自动驾驶路径规划算法中进行行驶意图和十字路口行驶路径的规划;同时驾驶员可通过触控的方式对检测到的空间信息进行交警手势信息细节进行放大和缩小查看;车端双目相机坐标系x轴与十字路口路基坐标系x′轴水平夹角α的具体计算方式为:当车端双目相机被前方车辆或其他障碍物遮挡时,直接将路程检测洗传递给车端即可;h0为路基基准装置距离地面的高度;
当车端双目高清摄像机检测到交警及交警手势时,将路端检测空间信息旋转α角度至与车端双目高清摄像机坐标系x轴同方向,利用匈牙利算法对相同关节点进行匹配,考虑到车端双目高清摄像机检测到的关节信息和路端高清摄像机恢复的关节信息的缺失与误差,计算匹配的关节点的中心点作为融合后的关节点位置;
当存在交警为便装的极端情况下,无法通过交警制服特征检测交警目标是否存在时,将出现交通指挥手势超过时间段阈值t的目标定义为交警。