1.一种基于FMCW雷达的手部关键点追踪方法,其特征在于:方法包括如下步骤:
步骤1,对FMCW雷达系统初始化,配置手部信息采样的参数,包括收发天线对、采样点数、采样时间,同时利用摄像头拍摄下完整的手部运动轨迹;
步骤2,对获得的图像信息和射频信号进行相应预处理;对于图像信息,将摄像头存下的GBR图像保存为RGB图像;对于射频信号首先进行杂波抑制,并通过在距离-速度维度上做傅里叶变换FFT形成距离-多普勒热图RDI,在相较于地面的水平和垂直两个方向上分别对信号进行处理,形成水平热图Hl和垂直热图Hv;
步骤3,对于保存的图像信息,对图片中的手部信息进行处理,捕捉到图片中的手部信息,并根据得到的信息为手部的每个关键点进行自动标记,获得来自于视频的手部关键点置信图;
步骤4,将得到Hl和Hv通过射频编码网络进行编码,将其输入至CNN中;将特征图输入到CNN中不同的卷积层中,实现特征提取,之后通过射频解码网络对已编码的热图信息进行解码,得到来自于射频的关键点置信图;
步骤5,利用跨模态学习和监督学习的方法,将不同模态的图像信息和射频信息进行交互,将得到视频关键点置信图的网络称为教师网络,得到射频关键点置信图的网络称为学生网络,构建一个跨监督学习的师生网络,通过该网络对经过射频信号处理得到的关键点置信图的可靠性进行检测;通过跨监督学习的方式,实现对射频信号中获得的手部关键点位置进行标识并追踪;
步骤6,训练完成后的系统仅射频信号实现对手部关键点进行追踪,无需视频图像辅助。
2.根据权利要求1所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤1中,通过FMCW雷达采集动态手势的原始信号,设每个调频连续脉冲chirp的周期为t,S为频率增长斜率,τ为信号从雷达到手势然后返回的延迟,f为雷达的载波频率;雷达的发射信号S1表示为:S1=sin(2πft+πSt·t)
接受信号S2表示为:
S2=sin[2πf(t-τ)+πS(t-τ)2]
经过混频器和低通滤波器后,输出的中频信号S为:
对上式进行一维傅里叶变换得到中频信号的频率为fIF,设手势目标到雷达的距离为d,光速为c,公式为:
用上述方法重复对多个线性调频脉冲chirp进行相同处理,让后将处理后的信号拼接成一帧数据,得到来自于雷达的射频信号。
3.根据权利要求1所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤2中,对于摄像头采集的手部图像,将其转化为对应的尺寸大小为200×200的RGB图像进行存储;对于射频信号利用基于频域的特征提取方法,在在水平和垂直两个方向上,通过傅里叶变换方法将时域复杂的信号变换到频域,观察到信号各频率成分状况,在频域内对特征进行提取;连续信号的傅里叶变换为通过FFT处理,产生一个具有不同的分离峰值的频谱,每个峰值表示在特定距离处存在物体;进一步取每个有效数据同一距离下的相位做再次做FFT,在同一距离下区分速度不同的多个目标;则经过做相位FFT后,得到每个目标的相位差ω1、ω2,进而得到速度不同的目标,此时得到的手部特征图,即距离-多普勒图RDI;保存水平和垂直天线阵列各一幅,水平热图是信号反射在平行与地面的平面上的投影,垂直热图是信号反射在垂直于地面的平面上的投影。
4.根据权利要求1所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤4中,射频编码网络使用10层9×5×5的时空卷积,每层的步长为1×2×2,输入完成后利用批处理归一化;在每一层之后使用ReLU激活函数f(x)=max(0,x),编码完成后输入至CNN中。
5.根据权利要求1所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤4中,射频解码网络对已编码的热图信息进行解码,解码网络有5层,除了最后一层的步长为外,其他层的步长均为此外每一层之后使用ReLu函数,对于最后一层,其作为输出层使用sigmoid函数。
6.根据权利要求1所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤5中,将图像信息与射频信号分别输入教师网络与学生网络中,学生网络接受来自于教师网络标记的关键点置信图,并与自身预测出的关键点置信图进行比对,这些来自于教师网络的关键点置信图为学生网络提供了跨模态监督,使得学生网络从中学习进而成功预测出关键点置信图。
7.根据权利要求6所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤5中,学生网络培养的目标是使其预测与教师网络预测的差值最小,将损失定义为置信图中每个像素的二进制交叉熵损失之和:其中和是置信图c上每个像素的置信度;学生网络接受来自于教师网络标记的关键点置信图,并与自身预测出的关键点置信图进行比对,这些来自于教师网络的关键点置信图为学生网络提供了跨模态监督,使得学生网络从中学习从而成功预测出关键点置信图。
8.根据权利要求1所述的一种基于FMCW雷达的手部关键点追踪方法,其特征在于:步骤6中,训练完成后,对于手部关键点的追踪仅需要将手放置在雷达前就获取手部关键点的位置坐标,不需要利用视频图像辅助标记,即实现仅通过射频信号追踪手部关键点。