欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100353845
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,所述抑郁识别方法包括以下步骤:S1,搭建ResNet101网络作为模型特征提取层,使用ELU作为激活函数并添加BN层,获得C2、C3、C4及C5四个代表不同级别语义信息和细节信息的情感表征;

S2,将步骤S1中获得的多级情感表征输入到多层双向门控网络,提取多级特征间的依赖关系,连接双向输出,得到图像的关联表示V;

S3,将步骤S1中获得的多级情感表征送入多尺度自适应上下文模块,提取相应的多尺度上下文特征,通过跨级融合得到各级的多尺度情感表示03、O4和O5;

S4,将C5级情感表征导入卷积注意力模块,获得带有显著情感区域的情感表示D;

S5,将多尺度情感表示O3、O4、O5和带有显著情感区域的情感表示D及图像的关联表示V进行特征融合,得到多线索情感特征E;

S6,将多线索情感特征E送入全局平均池,通过两个全连接层得到是否抑郁及抑郁严重程度两个标签。

2.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S6中,通过两个完全连接的分类网络对多线索情感特征E进行分类,其中一个分类网络用于生成标识是否抑郁的标签,另一个分类网络用于预测抑郁严重程度得分。

3.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S1中,所述模型特征提取层包括多个依次相连的残差块,每个残差块的卷积层后连接有BN层,并且残差块采用的激活函数为ELU激活函数。

4.根据权利要求3所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,所述残差块包括依次连接的第一卷积层、第一BN层、第二卷积层、第二BN层、第三卷积层、第三BN层和加法层;

所述第一卷积层采用64个1*1的卷积核对导入的深度为256维度的原始特征矩阵进行卷积,使特征矩阵的深度降维至64维度,第一卷积层的输出结果经第一BN层归一化处理后再采用ELU激活函数激活,以输出第一特征矩阵;所述第二卷积层采用64个3*3的卷积核对第一卷积层输出的深度为64维度的第一特征矩阵进行卷积,第二卷积层的输出结果经第二BN层归一化处理后再采用ELU激活函数激活,输出第二特征矩阵;所述第三卷积层采用256个1*1的卷积核对第二卷积层输出的深度为64维度的第二特征矩阵进行卷积,使特征矩阵的深度升维到256维度,第三卷积层的输出结果经第三BN层归一化处理后直接输出第三特征矩阵;

所述加法层用于将导入第一卷积层的深度为256维度的原始特征矩阵和第三卷积层输出的升维到256维度的第三特征矩阵进行相加操作,采用ELU激活函数激活后输出相应的情感表征结果。

5.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S2中,将从低级到高级和从高级到低级的特征作为两种顺序数据,采用多层双向门控网络以融合不同的依赖关系。

6.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S3中,所述多尺度自适应上下文模块包括主干层、子区域分支、区域情感亲和系数分支、单尺度上下文特征计算单元和组合单元;

所述子区域分支用于学习主干层的特征图Xl在不同尺度划分下的局部子区域表示,对于每个尺度Sk,将主干层的特征图Xl分为Sk×Sk个子区域n取正整数,每个子区域通过平均池和1×1卷积来提取特征;

所述区域情感亲和系数分支用于学习相同尺度下各子区域间的亲和系数权重

其中,是区域情感亲和系数,Sk是划分尺度,j是子区域位置,是计算函数,Ml是Xl调整大小后的表示,l是特征级数,g(Ml)是全局信息特征;通过1×1卷积和sigmoid激活函数来实现,对Ml使用全局平均池,得到全局信息特征g(Ml),将Ml和g(Ml)相乘,并计算全局下每个局部位置j的情感亲和系数;

所述单尺度上下文特征计算单元用于计算单尺度上下文特征:

其中,是尺度Sk下的上下文特征,是子区域;

所述组合单元用于将不同尺度的上下文特征进行组合,经过1×1卷积后进行批量归一化,得到多尺度上下文特征Zl:其中,Zl是多尺度上下文特征,l是特征级数,f是按通道的组合函数,是不同尺度下的单尺度上下文特征。

7.根据权利要求6所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S3中,根据下述公式跨级融合得到各级的多尺度情感表示O3、O4和O5:其中,l是特征级数,Ol是l级多尺度情感表示,Zl是多尺度上下文特征,Ml是特征图调整大小后的表示,Ml+1是上层特征图调整大小后的表示。

8.根据权利要求1所述的结合多级特征依赖与多尺度上下文特征的抑郁识别方法,其特征在于,步骤S4中,根据下述公式计算得到带有显著情感区域的情感表示D:其中,D1是中间特征图,GCAM是通道注意力模块得到的特征图,C5是第五级情感表征,是矩阵逐元素相乘,GCSM是空间注意力模块得到的特征图。