1.一种基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,将雷达数据预处理为三种图,所述三种图分别为多普勒时间图、距离时间图和距离多普勒图,将三种图经过通道叠加形成新的三通道图输入到特征融合卷积神经网络中以实现人类活动识别。
2.根据权利要求1所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,在雷达数据上应用快速傅里叶变换和短时傅里叶变换得到多普勒时间图、距离时间图和距离多普勒图三种图,将三种图通道叠加后在训练集上训练特征融合卷积神经网络,得到训练好的网络模型并保存模型参数,然后将保存的模型参数加载到特征融合卷积神经网络中并将部分预处理后的图输入,对人类活动进行识别。
3.根据权利要求1所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,将获得的多普勒时间图、距离时间图和距离多普勒图按照比例划分为训练集和测试集,并将三种图进行通道叠加得到新的三通道图,在训练集上以交叉验证的方式训练特征融合卷积神经网络,得到训练好的网络模型并保存模型参数。
4.根据权利要求3所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,将保存的模型参数加载到特征融合卷积神经网络中并将测试集输入网络,对人类活动进行识别。
5.根据权利要求1‑4任意一项所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,具体包括以下步骤:步骤1,雷达数据预处理:
将雷达信号重塑为数据矩阵,在数据矩阵的快时间维上应用快速傅里叶变换得到不同的距离单元,然后应用移动目标指示滤波,对变换后的数据取幅值转化为分贝表示得到距离时间图并保存;其次,在应用移动目标指示滤波之前的数据矩阵的慢时间维上应用快速傅里叶变换,对变换后的数据取幅值,然后以最大值的形式归一化并调节显示的动态范围得到距离多普勒图并保存;最后,选取距离时间图中人体活动时所在的距离单元,对每个距离单元应用短时傅里叶变换并求和,然后取幅值转化为分贝表示得到多普勒时间图并保存;
步骤2,构建特征融合卷积神经网络模型:
构建由Pytorch封装的VGG16和MobileV3‑large网络拼接而成的卷积神经网络;然后在通道维上进行特征融合,最后再经过自适应平均池化层和全连接层输出识别结果;
步骤3,生成训练好的特征融合卷积神经网络模型并保存模型参数:
首先,将步骤1中得到的多普勒时间图、距离时间图和距离多普勒图按照比例划分为训练集和测试集;然后,将训练集中每个样本的3张RGB图片转为灰度图进行通道叠加形成新的三通道图;最后,在训练集上以交叉验证的方式训练特征融合卷积神经网络,得到训练好的网络模型并保存模型参数;
步骤4,人类活动识别:
将测试集中每个样本的3张图片以和训练集相同的方式进行处理,得到新的三通道图;
将保存的模型参数加载到特征融合卷积神经网络中并将测试集输入网络,实现人类活动识别。
6.根据权利要求5所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,步骤1中,应用截止频率为±0.0075Hz的移动目标指示滤波。
7.根据权利要求5所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,步骤2中,网络的特征提取部分由VGG16的features层和avgpool层,以及MobileV3‑large的features层组成。
8.根据权利要求5所述的基于特征融合卷积神经网络的FMCW雷达人类活动识别方法,其特征在于,步骤3中,将步骤1中得到的多普勒时间图、距离时间图和距离多普勒图以80%和20%的比例划分为训练集和测试集。