欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103195072
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于脑电‑语音双模态决策融合的抑郁症识别系统,其特征在于:构建及训练胶囊图神经网络和Transformer网络:S1、对于脑电特征,采用胶囊图神经网络处理,其包括:图结构输入、图卷积层、初始胶囊生成层、注意力机制、图胶囊生成层、分类胶囊生成层、脑电mass函数 输出:a、图结构输入:功率谱熵特征 被构造为图结构 ,其中为由N个脑电导联组成的节点集, 为邻接矩阵, 为节点特征;各节点间的特征相关系数得到皮尔逊相关矩阵: (1)

其中, 表示 中第 和第 个节点特征 的相关系数;

比较 和阈值 的大小,将相关矩阵转换为由元素0和1构成的邻接矩阵 ,即  (2);

b、图卷积层:根据图结构输入,采用层图卷积层学习更高质量的节点嵌入,每层图卷积层公式为 (3)

其中, 表示第 层图卷积层第 个节点的节点特征,并有 ,; 表示第 层图卷积层中第 个节点到第 层中第 个节点的特征变换权重,构成矩阵 ; 表示激活函数,具体为 函数,以增强特征的非线性表达能力,其公式为  (4);

c、初始胶囊生成层:重组及堆叠每层图卷积层的输出 生成初级胶囊;将每层图卷积层的输出 重组为的三维矩阵 ,其中 表示节点个数, 表示为各节点建立的胶囊个数, 表示每个胶囊的维数,且 ;沿着 维度堆叠各三维矩阵,得到初级胶囊,其中 ;初级胶囊 可以看作是由 组节点胶囊组成,每组节点胶囊为,其中 表示第 个节点的第 个胶囊, ;

d、注意力机制:对各组节点胶囊进行重新校准,过程如下: (5)

其中,是由 平铺获得的,即 , 表示全连接层,其输入神经元数目为 ,输出神经元数目为 ,每个胶囊的注意力系数由全连接层输出 的归一化值获得,使用此注意力系数来重新校准各组节点胶囊,得到 ;

e、图胶囊生成层:将注意力校准后的初级胶囊 经过动态路由过程(循环 次)生成图胶囊 ,其中 表示图胶囊的个数, 表示各个图胶囊的维数;

f、分类胶囊生成层:将图胶囊 经过动态路由过程(循环 次)生成分类胶囊;其中 表示分类胶囊的个数, 表示各个分类胶囊的维数;

g、脑电mass函数 输出:计算分类胶囊中每个胶囊的模长,对应每种类别的识别概率;

模型根据输入特征判别其为每一类的概率,得到 和 ,进一步得到脑电基本概率分配mass函数 ,即  (6)

S2、对于语音特征,采用Transformer网络处理,其包括:Fbank特征输入、轻量级多头自注意模块、多层感知机前馈模块、分类层、语音mass函数 输出:a、Fbank特征输入:将Fbank特征 作为Transformer网络的输入, ;

b、轻量级多头自注意模块:输入特征 首先经过批归一化BN操作,得到 ,注意力头的数量设置为 ,将 划分为 组:查询矩阵 、键矩阵 、值矩阵 ,即每组 的矩阵大小均变换为 ,采用平均池化操作对 和 的维度进行减维,因此,每组 和 的维度变为 ,其中s为步长,分别用 和 表示,将每组的 和 经过乘积缩放、柔性最大值计算、dropout策略得到每个头的注意力系数矩阵,将此系数矩阵与 进行乘积,得到经过每个注意力头的输出:(7)

其中 ;接着,将所有头的注意力输出 拼接,用符号||表示,并馈入线性层;最后进行残差操作:(8);

c、多层感知机前馈模块:模块的输入为 ;模块由两层二维卷积层构成,其输入端首先经过批归一化BN操作,在两层二维卷积层间使用 激活函数:(9)

(10)

(11)

(12)

其中, 表示第一层卷积层的偏差, 表示第一层卷积层的可学习权重矩阵, 和 分别表示 的维数大小,表示输出通道数, 表示第二层卷积层的偏差, 表示第二层卷积层的可学习权重矩阵, 和 分别表示 的维数大小,表示输出通道数;最后对输出进行残差操作,即(13)

继续重复过程b和c,以 作为过程b的输入,直到共进行 次后完成计算;

d、分类层:由一层全连接层和softmax层构成,分类器的输出分别表示为 和 ;

e、语音mass函数 输出:分类器输出 和 组成语音mass函数 ,具体为(14);

S3、D‑S证据理论决策层融合:

设定分类全域为 ,根据步骤S1和步骤S2分别得到脑电特征和语音特征两种证据的基本概率分配mass函数 和 ,计算全域的概率分配 ,其中每种状态概率分配为:(15)

(16)

其中,为证据之间的冲突系数, ;最后,比较 和 ,将最大概率的假设判定为真,并且此最大概率对应的状态设置为最终的决策结果;

S4、模型的整体损失函数:

在模型的训练过程中,使用三种损失函数更新模型中的参数,即边际损失 、交叉熵损失 、分类损失 ;

基于胶囊图神经网络的边际损失:

(17)

其中,当预测结果为 类时  ,否则 , 表示第 个分类胶囊的模长, 表示边际系数;

基于Transformer网络的交叉熵损失:(18)

其中,表示分类标签,当预测结果为真时 ,否则 ;表示预测为真的概率;

D‑S决策融合的分类损失:

  (19)

其中,为预测类别,为真实类别;

模型的训练目标是使损失函数最小化,即(20)

其中,和 为比例系数,为训练更新后模型的最优参数集合。