1.一种室内人员行为非接触式协同感知方法，其特征在于，包括步骤S1、S2、S3，其中，步骤S1、S2同步进行，具体方法如下：S1获取无线感知的初步识别结果

1.1采集无线可覆盖范围内的CSI数据：

1.2使用共轭相乘、主成分分析法(PCA)对采集到的CSI进行预处理，消除噪音，提取主成分；

1.3将预处理后的CSI信号转化为多普勒频移(DFS)，同时根据达角(AoA)和反射路径范围分析出人体的位置和朝向；

1.4进行时间序列分析，生成身体坐标系速度谱特征并对其进行归一化处理；

1.5使用深度学习网络提取身体坐标系速度谱特征的高层空间特征，进行行为识别；

S2获得视觉感知的初步识别结果，具体方法如下：

2.1从多个摄像头中获取人体不同角度的视频帧信息；

2.2使用预训练的卷积神经网络(CNN)提取人体特征；

2.3联合使用两个CNN进一步提取更高层的人体特征图；

2.4评价关节点之间的相关性并进行关节点的匹配，将同一人的18个关节点连接起来；

2.5基于SMPL组合多角度的人体关节点信息，根据人体的关节点信息，使用图卷积神经网络(ST‑GCN)进行行为识别；

S3使用贝叶斯模型平均处理步骤S1和步骤S2得到的初步识别结果，得到最终的行为感知结果f：f＝wwififwifi+wcvfcv

其中， 为视觉感知结果所占权重，jp为视觉感知提取到的人体关节点的个数，fcv为视觉感知结果，wwifi＝1‑wcv为无线感知结果所占权重,fwifi为无线感知结果。

2.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

1.2中对CSI数据进行预处理的具体方法如下：

1)采集到的存在噪声信号的CSI数据

其中，CSI测量值的超域m＝(i，g，k),i＝0,1,…,T‑1,g＝0,1,…,F‑1,k＝0,1，···，S‑1；T,F,S分别是包数、子载波数和传感器数；H(m)为不含噪声的CSI测量值；Δti,Δfg分别是m＝(i,g,k)和m＝(0,0,0)时，H(m)之间的时间差、频率差；∈ti和∈f分别是收发器之间的定时偏移(TO)和载波频率偏移(CFO)； 是接收器传感器的初始相位；

2)对 进行降噪，选择k0传感器作为参考传感器，计算每个传感器的CSI与k0传感器之间的共轭相乘结果C(m)：其中，m0＝(i,g,k0)；

通过将多路径信号分类为静态组Ps和动态组Pd，将共轭相乘分为其中 Pn为静态组路径信号， Pl为动态组路径信号；

3)滤除高频分量和静态分量：滤去C(m)中的第一个求和项和第三个求和项，对其中的有效项去除静态响应，可得到：当m≠m0时，C(m)仅有 为有效项，据此通过最大似然估计法获得信号参数的估计值；

4)提取主成分：应用PCA来发现CSI流之间的时变相关性，以提取CSI流的主要成分，对于使用共轭相乘和最大似然估计得到的信号的估计值，通过对该流进行长期平均计算得出每个流的常数偏移量，然后将CSI流切割为设定间隔的样本的块，并在列中排列不同CSI流T的块以形成矩阵H，计算相关矩阵H ×H，其维数为N×N，其中，N是CSI流的数量，对相关矩阵进行特征分解以计算特征向量，并使用等式hnk＝H×qnk构造主成分，其中,q和h分别表示特征向量和主成分，nk＝0,1,…,U,U为特征向量总数。

3.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

1.3中将预处理后的CSI信号转化为多普勒频移(DFS)，具体方法如下：从预处理后的CSI中提取DFS，通过用相应的DFS表示多径信号的相位，将CSI转换为:其中，Hs(f)是无线载波频率为f时的静态信号之和，αl(t)为数据包到达时间为t时的第三路径的复衰减，∈(f，t)是由定时对准偏移、采样频率偏移和载波频率偏移引起的相位误差， 为多普勒频移。

4.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

1.3中人体位置和朝向的分析方法如下：

使用广义空间最大期望算法从原始CSI测量数据中计算出LoS信号的 接收器阵列Ψr的方向从 和(xr,yt)计算，将反射路径范围和AoA分别表示为 和 则由 此得出 人体的 位置和 朝向

其中，(x,y)为人体位置坐标，(xr，yr)为接收器坐标， sgn(·)为符号函数。

5.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

1.4中生成身体坐标系速度谱特征的具体方法如下：

1)量化身体坐标系速度谱

速度矩阵V为M×M的离散矩阵，根据无线发射器、接收器的位置和DFS谱得到速度矩阵V所量化的M×M的离散矩阵，M为体坐标各轴上分解的速度分量可能值的个数表示在体坐标系中分解的速度分量,每个速度分量都会将信号功率贡献给某个频率分量 在第lk条链路:其中， 和 是由发射机和接收机的位置决定的系数,lk＝1,…,Link,Link为链路总数；

其中， 分别为第lk条链路的发射器和接收器的坐标，λ为载波波长；

由于 和 取决于第lk条链路的位置，定义分配矩阵其中，fkf是DFS曲线中的第kf个频率采样点，kf＝0，1，...G，G为频域中采样点的总数，是矢量化的身体坐标系速度谱的速度矩阵V的第kn个元素对应的速度分量，kn＝0,1,…2

M；

因此，第lk个链接的DFS曲线和身体坐标系速度谱关系建模为：(lk) (lk) (lk)

D ＝c A V

(lk) (lk)

其中，c 为反射信号传播损耗引起的比例因子，A 为第lk条链路的分配矩阵；

2)采用压缩感知的思想，并将身体坐标系速度谱的估计公式化为l0最优化问题，得到身体坐标系速度谱特征：其中，速度分量数目的稀疏性由术语η||V||0强制，其中η表示稀疏系数,||…||0是非零速度分量的数目,EMD(…,…)是两个分布之间的EMD距离(Earth Move’s Distance)。

6.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

1.5行为识别方法如下：

首先使用CNN提取身体坐标系速度谱特征的高层特征，然后使用循环神经网络(RNN)进行分类，得到识别结果，具体地，在RNN中选择含有门控循环单元GRU的单层LSTM来建模时间关系，将CNN的输出输入到GRU中，生成一个128维向量，在此基础上，增加一个dropout层进行正则化，并利用具有交叉熵损失的softmax分类器进行类别预测，得到识别结果。

7.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

2.2中使用预训练的mobilenet来提取图像中的人体特征。

8.根据权利要求1或7所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤2.3具体方法如下：在进行联合训练时，使用多分支的多级CNN架构，共两分支、六级，其中一个分支中的第stagestage个阶段预测置信度映射S ：

stage stage stage‑1 stage‑1S ＝ρ (FM,S ,L )

stage stage stage stage‑1 stage‑1另一个分支中的第stage个阶段预测PAF向量L ：L ＝φ (FM,S ,L )stage stage

其中，ρ 和φ 是第stage阶段推断的CNN，FM为使用mobilenet提取的人体特征；

在对网络进行训练时，总体的损失函数为：

其中，p为关节点， 为第stage阶段预测的人体关节点置信图； 为真实人体关节点置信图，o表示真实身体某个关节点,O为关节点总数， 为stage阶段预测的肢体矢量， 为真实肢体矢量，W(p)是一个二进制位，当关节点p并没有在图像上显示时，W(p)＝0，C为肢体矢量总数；

完成训练后，向预训练的多分支的多级CNN中输入图像即可得到人体关节点置信度分布图和肢体矢量图。

9.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤

2.4具体方法如下：

计算每对关节点连线向量和两关节点连线上各像素的PAF向量之间的点积的积分作为两个关键点之间的相关性：其中， 表示两个身体部位 和 之间的位置，u表示比例系数，其取值范围为[0,1]，Lc为沿线采样预测得到的两个部位之间的关联置信度，然后通过匈牙利算法来得到一个最大匹配。

10.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤2.5中使用图卷积神经网络进行行为识别的具体方法如下：

1)从步骤2.4中得到的2D关节点信息中预测3D关节点位置，拟合出3D的人体信息；

2)使用已有数据集中每个动作的多帧3D关节点信息及其相应的标签来训练图卷积神经网络，在进行行为识别时，向预训练的图卷积神经网络中输入3D关节点序列信息，得到识别结果。