1.一种基于毫米波雷达的人体点云解析方法,其特征在于:所述人体点云解析方法通过神经网络实现,具体的,人体点云解析方法具体包括以下步骤:步骤1、雷达点云数据处理与标签生成:采集原始数据,使用深度相机采集人体的骨骼关键点数据,使用雷达获取人体点云数据,通过时间戳进行同步,随后使用同步的骨骼关键点数据;
步骤2、使用神经网络的主干多层感知机层对雷达获取的人体点云数据经过全局特征提取,随后通过神经网络的采样层和分组层进行质心点采样和分组得到局部点;
步骤3、将步骤2分组后得到的局部点送入神经网络中,利用抽象卷积层提取与局部点相关的局部特征;
步骤4、使用神经网络中对称的解码层对步骤3得到的局部特征进行解码操作,全局特征以及每一层的局部特征都对应一个解码器操作,并且进行残差连接防止过拟合,最终得到预测的每个点属于人体对应的哪一部分骨骼关键点;其中,所述神经网络具体包括编码器和解码器,编码器和解码器使用残差连接,
所述编码器包括采样层、分组层、抽象卷积层和反向残差块,所述采样层包括一个最远距离采样的采样操作,以获得采样集作为分组操作的质心点,所述分组层包括一个使用k近邻算法进行分组的分组操作,将人体点云数据以采样机为中心分割为若干组,所述抽象卷积层输入数据为人体点云数据的坐标信息和局部点相关的局部特征,局部点相关的局部特征使用一次二维卷积并配合批量归一化,得到维度为[B,64,N,k]的局部点相关的局部特征,并使用一次最大池化,提取过后的局部点相关的局部特征和人体点云数据的坐标信息流向反向残差块,所述反向残差块使用一次二维卷积并配合批量归一化,得到维度为[B,64,N,k]的特征向量,随后通过先进行一次取最大值操作实现可分离的多层感知机,将局部点相关的局部特征和维度简化为[B,64,N]减少计算量,再通过两层mlp进行特征提取,其中第一层将通道数扩大为原来的4倍,第二层将通道数还原,输出数据在流向下一层编码器的同时使用残差连接作为对称解码器的输入;
所述步骤2具体包括如下步骤:
步骤2.1、对雷达获取的人体点云数据进行全局特征提取,将雷达获取的人体点云数据通过主干多层感知机层将人体点云数据的坐标信息映射到比三维空间高的维度,并提取得到反应人体全局信息的全局特征数据;
步骤2.2、对每一帧的人体点云进行下采样,在采样层中得到n/4个分布均匀的质心点以便后续进行分组;
步骤2.3、通过神经网路的分组层,以人体点云集合和质心点集合作为输入,以质心为中心,根据质心选择周围k个人体点云数据中的点进行分组;
所述步骤3将局部点送入神经网络进行局部特征提取,具体包括如下步骤:
步骤3.1、所述抽象卷积层使用三次二维卷积以及批量归一化操作对传入的质心坐标以及分组点进行局部特征提取;
步骤3.2、将提取的局部特征传入反向残差块中,反向残差块使用一次分组操作和三次二维卷积操作;
步骤3.3、利用第一层mlp将通道数扩大为原来的4倍,第二层mlp将通道数还原的倒瓶颈设计将第一层mlp的输出通道扩大4倍;
步骤3.4、使用残差连接编码器和解码器,解码器最终预测人体每个雷达点所属的关节类别。
2.根据权利要求1所述的基于毫米波雷达的人体点云解析方法,其特征在于:在步骤2.3中,设当前人体点云集合{x1,x2,x3,…,xn},以质心为中心,根据质心选择周围k个人体点云数据中的点进行分组,具体包括如下步骤:步骤2.3.1、计算人体点云中每个点距离点云质心的距离,选择距离质心最远的人体点云数据中的点,纳入采样集中;
步骤2.3.2、依次计算每个人体点云数据中的点与采样集中点之间的欧氏距离,选择距离最大的人体点云数据中的点xi作为下一个采样点;
步骤2.3.3、重复步骤2.3.2 n/4次,当采样集{xl…,xm}中有大于等于一个质心点时,对于人体点云数据中的点x,依次计算对于每个质心的距离{di,…,dm},选择最小的距离dminx记录,最终选择距离最大的人体点云数据中的点点xi作为下一个采样点。
3.根据权利要求1所述的基于毫米波雷达的人体点云解析方法,其特征在于:步骤2.3中,分组具体为:使用k近邻算法,对于质心点xi,依次选择k个距离质心点xi最近的相邻点作为一组,学习相邻点之间的局部特征。
4.根据权利要求1所述的基于毫米波雷达的人体点云解析方法,其特征在于:步骤4中,使用神经网络中对称的解码层对步骤3得到的局部特征进行解码操作,具体包括以下步骤:步骤4.1、使用解码块进行局部点相关的局部特征解码;
步骤4.2、更新权重、偏置参数的参数信息,同时输出损失函数;
步骤4.3、网络训练完毕保存训练模型,根据测试样例对神经网络进行测试,验证神经网络的有效性和精度。
5.根据权利要求1-4的任一项所述的基于毫米波雷达的人体点云解析方法,其特征在于:所述步骤1具体包括如下步骤:步骤1.1、使用深度相机采集人体的骨骼关键点信息,使用雷达获取人体点云信息;
步骤1.2、人体的骨骼关键点信息与人体点云信息通过采集时的时间戳进行同步;
步骤1.3、对人体点云信息数据进行填充和排序;
步骤1.4、计算人体点云信息数据中的点距离对应的骨骼关键点间的距离;
步骤1.5、选择距离人体点云信息数据中的点最近的骨骼关键点类别作为该人体点云信息数据点的类别标签,若最近距离大于设定阈值,则将该人体点云信息数据点与人体的骨骼关键点无关,被分类为无效点。
6.根据权利要求5所述的基于毫米波雷达的人体点云解析方法,其特征在于:在步骤1.1中,雷达获取的人体点云信息包括三维空间的x、y、z坐标、速度、信噪比和时间戳。
7.根据权利要求5所述的基于毫米波雷达的人体点云解析方法,其特征在于:步骤1.3中,步骤1.3中对人体点云信息数据进行填充是指:每一帧人体点云信息数据包含64个关键点,对稀疏的帧,计算现有人体点云信息数据中的点的质心,将质心作为填充点,使每一帧均包含64个关键点。