1.基于雷达距离多普勒图和IR-ST的人体跌倒识别方法,其特征在于,步骤如下:步骤一:使用60GHz线性调频连续波雷达采集坐-起、跳跃、静坐、踏步、下蹲、弯腰和摔倒7个动作下的雷达原始数据;
步骤二:采用均值速度投影算法从原始数据中提取距离多普勒图,减少背景噪声,提取动作信息;
步骤三:设计倒残差卷积结构与窗口自注意力机制相结合的IR-ST模型结合距离多普勒图进行人体动作分类;
其中,步骤一,设计坐-起、跳跃、静坐、踏步、下蹲、弯腰和摔倒7种动作,对每个动作采集多组原始数据,雷达通过合成器生成线性调频信号,由发射天线TX发射,该信号在一定周期内频率会从60GHz升到64GHz,称这段时间为一个啁啾周期,啁啾周期内的频率变化表达为:式中,是雷达的起始频率,是一个啁啾周期内频率增长的斜率,由下式得到其中为雷达信号啁啾周期内的带宽,为一个啁啾周期的持续时间,通过余弦函数处理后由发射天线TX发射,当发射信号经过环境和目标反射后,由接收天线RX进行接收,接收信号频率表达为:式中,为时间延迟,表达为下式:
式中,为雷达与物体之间的距离,为光速,通过混频器将信号发射信号和接收信号进行混频,输出中频信号,其将两个正弦信号和 输入进混频器,中频信号为两个输入正弦信号的瞬时频率之差,中频信号表达为下式:通过若干个啁啾周期得到的中频信号构成一个采样周期,再通过若干个采样周期组成一组原始数据;
步骤二采用的均值速度投影算法从雷达的原始信号中提取距离多普勒图,均值速度投影算法由速度投影算法与均值滤波两部分组成,速度投影算法分为两部分:距离傅里叶变换和多普勒傅里叶变换,其纵坐标由一个采样周期构成,由于每一个扫频周期很短,忽略其中每一个啁啾周期中的速度信息,距离傅里叶变换指对纵坐标上的每一个啁啾周期提取频谱峰值对应的横坐标频率,即获得目标的距离信息,距离计算公式如下式:其中为光速,为扫频周期,为扫频带宽,为运动或静止情况下雷达差拍信号的频率,距离多普勒图的横坐标由多个采样周期构成,通过对多个啁啾周期进行多帧数据的堆积;
多普勒傅里叶变换指对横坐标上的数据求取频率,即得多普勒频率,速度计算公式如下式:其中为多普勒频率,为啁啾周期信号的中心频率,使用速度投影算法对雷达原始信号进行重排处理,得到距离多普勒矩阵;
均值滤波方法,表达为下式:
其中x为多普勒矩阵中的任意一个值,X为距离多普勒矩阵,通过Average函数对距离多普勒函数求取平均值,通过函数进行判断,若x小于矩阵平均值,则x置0,反之x=x;
将距离多普勒矩阵中数值大小转化为不同颜色得到距离多普勒图,通过距离多普勒图,构建一个雷达摔倒检测数据集;
步骤三中的IR-ST网络构件步骤如下:
第一步:将雷达距离多普勒图,经过五次倒残差卷积模块,其中使用捷径分支将第二个模块的输出与第三个输出相加,捷径分支指的是当神经网络模块的输入大小和通道数都相同时,则将模型的输入矩阵与输出矩阵相加,得到新的矩阵作为下一个模块的输入;
第二步:将提取后的特征矩阵输入Patch Partion层,Patch Partion层通过卷积核将矩阵大小减少,深度提升;
第三步:通过Linear Embeddemg层,Linear Embeddemg层通过卷积核对输入矩阵进行升维操作,将通道数增加;
第四步:通过两次滑动自注意力机制模块;
第五步:将输出经过Patch Merging层,Patch Merging层将输入大小缩小一半,通道数增加一倍;
第六步:通过Adaptive Pooling层,Adaptive Pooling层通过卷积核将输入矩阵尺寸变为1×1大小的矩阵;
第七步:通过全连接层处理后输出,全连接层:将多个卷积层合并成全连接层,全连接层的目标是将卷积层学习到的高级特征平坦化。
2.根据权利要求1所述的基于雷达距离多普勒图和IR-ST的人体跌倒识别方法,其特征在于,所述倒残差卷积模块:首先通过一个大小为逐点卷积层对输入矩阵进行升维,即增加通道数,然后通过深度卷积层进行特征提取,最后通过逐点卷积层进行降维,及减少通道数;
卷积层:首先对每一个通道进行一次卷积操作,其次将处理得到的H份卷积特征矩阵进行相加变为一个通道,最后重复H+1次上述操作,将原来H通道的图像变为H+1通道,深度卷积:该卷积层中的一个卷积核只负责一个通道,经过该层输出,图片的通道数保持不变;
逐点卷积:使用1×1的卷积核对输入矩阵的每一个通道进行特征提取并相加,通过改变卷积核的个数来控制输出矩阵通道数的增减。
3.根据权利要求1所述的基于雷达距离多普勒图和IR-ST的人体跌倒识别方法,其特征在于,所述滑动自注意力机制模块,由两个小模块组成,每个模块拥有四个部分,分别为两层LN层、MSA模块、MLP模块;
其中LN层是对输入矩阵进行归一化操作,矩阵中的每个数值减去矩阵平均值后除以矩阵标准差,MSA模块分为基于窗口的W-MSA模块和基于滑动窗口的SW-MSA模块;W-MSA模块在初始化时,将图片分为多个模块,每个模块单独使用自注意力机制,随着网络加深,小模块互相拼接形成更大的模块,其下采样率也随网络增加而增大;
自注意力机制,由下式表达:
其中为匹配项,为关键项,为自注意力机制从输入中提取得到的信息,指的是中元素的数量,通过函数将计算出来的矩阵归一化,使其中元素之和等于1,最后乘上自注意力机制从输入中提取的信息;
MLP模块,MLP模块又称多层感知机,MLP模块由输入层、隐层、输出层所构成,而且层与层之间是全连接的。