欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023104966585
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-05-13
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多尺度跨时空有向时空图的步态情绪识别方法,其特征在于,包括以下步骤:构建人体骨骼图,每个关节代表一个节点,骨骼代表一条边;

采用多尺度跨时空的信息有向聚合方法提取特征,使用跨时空的方法,获取每帧节点与长时间距离的帧节点之间的联系,使用多尺度方法,获取每帧节点与远处节点之间的联系;

根据时间流动方向,将所有帧节点放入一个整体结构中,构建有向时空图;

使用多尺度自适应图卷积块,自适应地提取每帧节点与其多跳节点间的特征联系;

采用softmax进行情感分类;

所述采用多尺度跨时空的信息有向聚合方法提取特征具体包括:在每次更新中,帧数据根据时间序列方向进行选择,并使用前后帧更新当前帧数据,更新方程下式,在图神经网络的第l层中,输出特征被表示为节点输入特征表示为Θl代表图神经网络,δ是归一化函数;

定义一个多尺度邻接矩阵:

其中,d(vi,vj)表示节点i和j之间的最短距离,是自然状态下人体关节的结构图,是在k跳跃时得到的新的邻接矩阵,表示i的k跳邻居节点是j,将两个节点之间的k跳跃权重重置为1,以便于在特征聚合时,n跳节点和k跳节点具有相同的初始权重,k≠n;

为了提取远程节点特征,使用一种基于m跳邻居的分区策略,节点跳邻居集的分区策略定义为:其中,r(vi)表示所有帧中节点i到重心的距离,r(vj)表示所有帧中节点j到重心的距离,j是i的m跳邻居,[Am]i,j表示了第i个节点和第j个节点相连;

使用多尺度跨时间有向聚合更新方法,以提取不同帧节点之间的连接关系,使用两个聚合函数从源节点和目标节点提取特征gvt,gvs,表示提取的指向i节点的源节点,表示提取的i节点指向的目标节点,表示指向当前节点的源节点,表示当前节点指向的目标节点,v′i表示节点i更新后的特征,hv表示节点特征更新函数;

使用多尺度定向连接,使每一帧中的节点与它们之前和之后的多帧多跳邻居之间的连接,多尺度有向时空图矩阵由多个原始的k跳邻接矩阵拼接而成,其中是输入每帧图的多尺度邻接矩阵,I是一个单位矩阵。

2.根据权利要求1所述基于多尺度跨时空有向时空图的步态情绪识别方法,其特征在于:所述人体骨骼图表示为G=(V,E),其中V={v1,v2,...,vN}表示由N个节点表示的关节,E表示骨头的边的集合,由邻接矩阵A捕获,邻接矩阵A如下式所示:d(vi,vj)表示节点i和j之间的最短距离;

作为图序列,存在节点特征集X={xt,n∈RC∣t,n∈1≤t≤T,1≤n≤N}表示X∈RT×N×G,其中T是总的时间帧数,N代表每帧节点数量,RC代表每个节点特征,RT×N×C代表每个输入样本所有特征数据,xt,n=Xt,n是时间帧t中节点vn的C维特征向量,t代表输入数据的第几帧图,n表示第n个节点;

输入步态用A和X来描述。

3.根据权利要求1所述基于多尺度跨时空有向时空图的步态情绪识别方法,其特征在于:在整个时间序列上构建了一个有向时空图GT=(VT,ET),节点数为VT=T×V,T表示输入样本包含T个时间序列帧,V表示每个帧包含节点数,ET表示边。

4.根据权利要求1所述基于多尺度跨时空有向时空图的步态情绪识别方法,其特征在于:所述多尺度自适应图卷积块对图的每一帧进行自适应学习,学习方程如下式:式中,An表示使用分区策略的n子图,Bn是一个可学习的参数,Cn表示自适应学习参数,Nv为子集数,是输入节点特征,Wn是自适应图卷积网络参数;

根据每个特征图的多尺度分割策略,提取和聚合长距离的邻居特征信息如下式:其中An,m是多尺度划分策略为m时构造图的一个子图,Bn,m是一个可学习的参数,是输入节点特征,Nm为子集数;

多尺度自适应学习方法提取并更新每个节点的不同距离的邻居。

5.根据权利要求4所述基于多尺度跨时空有向时空图的步态情绪识别方法,其特征在于:通过大小为1×1的卷积块来融合不同尺度的信息;

其中M是最大邻居距离,Θl是l层中1×1大小的卷积块参数,σ(·)是激活函数。

6.基于多尺度跨时空有向时空图的步态情绪识别系统,其特征在于:包括3个多尺度时空有向自适应图卷积网络,每个多尺度时空有向自适应图卷积网络之前都有一个归一化层,之后是一个激活函数层和一个丢弃层,人体骨骼图通过3个多尺度时空有向自适应图卷积网络后,从联合数据中提取特征数据,然后执行全局平均池化层,对提取的特征进行全局特征平均池化,最后通过softmax层执行四种情感分类;

所述多尺度时空有向自适应图卷积网络,以有向方式聚合多帧节点信息,更新每个帧图节点,并提取每个帧图节点及其m阶邻居的特征,然后通过1×1自适应图卷积块进行自适应融合,从而融合各种尺度的特征;

所述多尺度时空有向自适应图卷积网络中采用多尺度跨时空的信息有向聚合方法提取特征,具体包括:在每次更新中,帧数据根据时间序列方向进行选择,并使用前后帧更新当前帧数据,更新方程下式,在图神经网络的第l层中,输出特征被表示为节点输入特征表示为Θl代表图神经网络,δ是归一化函数;

定义一个多尺度邻接矩阵:

其中,d(vi,vj)表示节点i和j之间的最短距离,是自然状态下人体关节的结构图,是在k跳跃时得到的新的邻接矩阵,表示i的k跳邻居节点是j,将两个节点之间的k跳跃权重重置为1,以便于在特征聚合时,n跳节点和k跳节点具有相同的初始权重,k≠n;

为了提取远程节点特征,使用一种基于m跳邻居的分区策略,节点跳邻居集的分区策略定义为:其中,r(vi)表示所有帧中节点i到重心的距离,r(vj)表示所有帧中节点j到重心的距离,j是i的m跳邻居,[Am]i,j表示了第i个节点和第j个节点相连;

使用多尺度跨时间有向聚合更新方法,以提取不同帧节点之间的连接关系,使用两个聚合函数从源节点和目标节点提取特征gvt,gvs,表示提取的指向i节点的源节点,表示提取的i节点指向的目标节点,表示指向当前节点的源节点,表示当前节点指向的目标节点,v′i表示节点i更新后的特征,hv表示节点特征更新函数;

使用多尺度定向连接,使每一帧中的节点与它们之前和之后的多帧多跳邻居之间的连接,多尺度有向时空图矩阵由多个原始的k跳邻接矩阵拼接而成,其中是输入每帧图的多尺度邻接矩阵,I是一个单位矩阵。

7.根据权利要求6所述基于多尺度跨时空有向时空图的步态情绪识别系统,其特征在于:所述多尺度时空有向自适应图卷积网络聚合了多帧中不同尺度的节点的特征,并根据不同的时间跨度和每帧节点与邻居帧连接帧数,构建多个有向时空图;对图的每一帧进行自适应学习,学习方程如下式:式中,An表示使用分区策略的n子图,Bn是一个可学习的参数,Cn表示自适应学习参数,Nv为子集数,是输入节点特征,Wn是自适应图卷积网络参数;

根据每个特征图的多尺度分割策略,提取和聚合长距离的邻居特征信息如下式:其中An,m是多尺度划分策略为m时构造图的一个子图,Bn,m是一个可学习的参数,是输入节点特征,Nm为子集数;

多尺度自适应学习方法提取并更新每个节点的不同距离的邻居;

通过大小为1×1的卷积块来融合不同尺度的信息;

其中M是最大邻居距离,Θl是l层中1×1大小的卷积块参数,σ(·)是激活函数。

8.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至5任一项所述基于多尺度跨时空有向时空图的步态情绪识别方法。