欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024117587755
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,包括以下步骤:S1、面向学习者的认知状态进行多模态数据收集;

S2、基于多尺度图卷积网络的认知状态表征;

S3、基于分层互信息最大化的脑-视觉-语言混合多模态时序特征融合;

S4、增强多模态大模型复杂任务理解能力的知识图谱节点嵌入;

S5、知识引导的脑-视觉-语言多模态大模型训练;

S6、基于多模态大模型的学习者认知状态识别;

S7、多模态具身推理支持下学习者认知状态可解释分析;

S3中,构建多模态自编码变分贝叶斯模型用于多模态特征融合,使用三个特定于模态的编码网络,将单模态特征转化为联合的潜变量,然后通过三个特定于模态的解码网络分别进行特征重构;

多模态联合建模过程为:采用变分自编码器VAE潜变量模型用于可扩展的无监督表示学习,对于单模态数据,VAE通过联合潜变量定义边缘对数似然:;

VAE最大化证据下界ELBO得到:

;

(1);

其中,是由编码器网络表示的近似后验分布,其参数为,是由解码器网络表示的条件分布,其参数为;

联合的边缘对数似然及其证据下界ELBO表示为:(2);

由参数化为的解码器构成,其中,;

使用变分联合后验来近似模型联合后验,最大化,进一步优化;

通过在神经解码任务中运用具有联合潜变量学习和跨模态生成能力的公式,上式进一步写成:(3);

其中,是的一个可能子集,而是由的所有可能子集组成的新集合;

在原始多模态ELBO目标中引入了两个互信息正则化项,即模态内MI最大化和跨模态互信息MI最大化。

2.根据权利要求1所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,S1中,学习者的认知状态包括记忆、理解、应用、推理、分析、评价、创造和自动化,多模态数据收集包括脑数据收集、视觉数据收集和语言数据收集;

脑数据收集过程具体为:

采用高分辨率成像技术fMRI收集学习者静息态脑成像数据,将收集的fMRI静息态脑成像数据预处理为的输入矩阵,其中,表示学习者脑感兴趣区ROIs的个数,表示时间样本的个数;

视觉数据收集过程具体为:

根据学习者课堂学习情景录制视频,按固定间隔提取视频帧,对每个静态图像进行处理;

语言数据收集过程具体为:

收集学习者学习材料以及在学习过程中产生的文本数据、师生-生生课堂对话数据,用表示学习者产出的一个具体的词或子词,用一个有限集合表示所有可能的词或子词的词汇表,将离散的词汇映射到连续的向量空间,预处理成一个大小为的大嵌入矩阵,表示嵌入维度。

3.根据权利要求2所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,S2中通过学习者在各学习任务时间段的fMRI静息态脑成像来判断其当前的认知状态:将fMRI静息态脑成像数据进行标记,表示为,其中表示与认知状态相关的fMRI静息态脑成像数据特征矩阵,包含个学习者脑感兴趣区ROIs和个时间样本,是来自标签集的认知状态标签,用于表明与fMRI静息态脑成像数据相对应的认知状态类型,是数据集的样本数量;

从训练数据集中学习一个最优图网络,并根据测试数据集中每个fMRI静息态脑成像数据预测任务标签:(4)。

4.根据权利要求3所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,S2中基于多尺度图卷积网络的认知状态表征包括以下两个模块:S21、脑图构建;

采用标准脑图谱将大脑划分为个感兴趣区域ROIs,通过fMRI静息态脑成像数据计算每个个体在各脑区间的功能连接FC,对平均功能连接矩阵进行二值化,再采用图构建策略,构建大脑图;

其中,节点为感兴趣区域ROIs,边表示节点之间的连接关系;

则时间点时特定ROI的脑活动通过该ROI内所有体素的平均值来计算,假设总共有个学习者,第个学习者的脑功能连接矩阵通过计算ROIs之间fMRI静息态脑成像数据的Pearson相关性获得,而后对所有学习者的邻接矩阵进行平均,获得组水平的邻接矩阵如下:(5);

为特定ROI构建一个具有无向边的脑图,连接其与其他ROI中相关性排名前的区域,从组水平的邻接矩阵中修剪连接,得到一个以二值化的无向组水平邻接矩阵为特征的脑图:(6);

其中,表示第个ROI与第个ROI之间的连接强度,表示第个ROI中连接强度的第大值,为二值化邻接矩阵,表示第个ROI与第个ROI是否存在连接;

S22、大脑解码;

收集来自功能磁共振成像的血氧水平依赖信号数据BOLD,每个信号数据BOLD用于反映在不同时间点多个脑区ROIs的动态响应,记录N个ROIs在m帧时间内的活动变化,具体过程如下:将BOLD信号经过预处理转化为特征矩阵,将特征矩阵信息作为模型的输入数据,分析学习者不同认知状态过程中ROIs的活动模式;

在特征矩阵的基础上生成特征图,其中,图的节点代表各个脑感兴趣区,节点之间的边表示这些脑区之间的关联关系,用于反映课堂中不同认知任务对脑区间的互联需求;

将特征图输入时空金字塔图卷积模块进行多层时空卷积处理,捕捉脑区间的动态关联。

5.根据权利要求4所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,S22中的时空金字塔图卷积模块包括三个具有不同尺度时间卷积的时空通路和若干个自下而上通路:时空通路包括时间门控卷积模块和空间卷积模块,空间卷积模块为输入向量与滤波器的乘积:(7);

其中,和分别是标准化图拉普拉斯矩阵的特征向量矩阵和特征值的对角矩阵,且;

图拉普拉斯矩阵通过邻接矩阵的转换得到,表示为:,其中是度矩阵,其对角元素为,是单位矩阵,从fMRI静息态脑成像数据中获取邻接矩阵;

采用切比雪夫多项式近似滤波器,将空间图卷积模块重新表示为切比雪夫多项式的线性函数:(8);

其中,,表示的最大特征值,通过引入一阶近似,设置且,将和代入公式(8),得到空间图卷积近似表示为:;

(9);

;

时间门控卷积模块为一个宽度为的一维卷积核,后接一个门控线性单元GLU,其中,表示第个时空通路中的时间卷积核,图中每个节点的输入表示为,其中表示输入长度,表示输入通道数,时间卷积核,将映射到一个输出元素,并将分为两个具有相同通道数的部分,其中表示输出通道数;

则时间门控卷积模块表示为:

(10);

其中,表示时间卷积;和分别是GLU中门控单元的输入;表示元素级Hadamard积;表示sigmoid门控,用于确定输入的重要性;

在自下而上通路中,各路径将不同时空尺度下的细粒度和粗粒度特征逐层串联并向上传递,底部路径的空间特征通过多尺度信息的逐步整合,向顶部路径传递,形成具有全局和局部视角的特征表示,从而生成多层次的语义信息。

6.根据权利要求5所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,在S3之前还包括仅通过解码大语言模型LLMs,预测一段文本序列的概率,其中,文本序列表示一个标记序列,M表示文本序列总长度;

通过因式分解神经网络架构得到:

(11);

其中,是Transformer网络;

预训练模型在不改变架构的情况下通过前缀来进行条件预测:(12);

前缀用于提供LLM继续预测后续标记所依据的上下文;

将自然语言中的词转换成被大语言模型LLM处理的向量表示,进行如下映射:定义表示一个具体的词或子词,用表示离散词的有限集合,在内部,LLM通过映射将嵌入到词标记嵌入空间中,即,其中,映射通常表示为一个大小为的大型嵌入矩阵。

7.根据权利要求6所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,基于学习者脑数据、视觉图像数据多模态数据连续观测的文本嵌入,具体过程如下:为编码器分别提出不同的架构选择,以将连续观测的多模态数据直接而非离散化地映射到大语言模型的语言嵌入空间中:(13);

将连续观测嵌入向量与正常的文本标记嵌入交替排列,形成前缀,即前缀中的每个向量都来自于词标记嵌入器或编码器:(14);

观测被编码为多个嵌入向量,在前缀的不同位置交替使用不同的编码器,以组合来自不同观测空间的信息;

采用自注意力机制、视觉变换器ViT分别从脑解码数据和2D图像中提取标记嵌入大语言模型LLM;

其中,自注意力机制用于将脑ROIs、时空序列特征维度输入到大语言模型中,设,N表示感兴趣区ROIs的数量,d表示特定ROI的特征维度,则通过fMRI静息态脑成像数据提取的特征数量:(15);

(16);

(17);

其中,是时空金字塔图卷积解码得到的脑特征向量,,,是映射到查询、键和值的权重矩阵,是键的维度,用于缩放因子;

引入仿射变换将ViT生成的嵌入内容调整到与语言模型匹配的维度,对于每个图像标记嵌入,通过变换为适合语言模型的向量表示。

8.根据权利要求7所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,模态内MI最大化具体过程为:首先将偏向于联合潜变量与单个模态之间高互信息的模态内MI正则化引入到原始ELBO目标中,对于,联合潜变量的后验分布样本与观测数据之间的MI定义为:(18);

导出一个MI变分下界如下:

(19);

其中,是由参数化为的深度神经网络的辅助分布;

将模态内MI最大化正则化器定义为多模态VAE的:(20);

其中,在已知类别数据集上,而在新类别数据集上;

跨模态互信息MI最大化过程为:

在已知类别数据集上,定义为:

;

;

;

(21);

其中,,,均被用于构造负样本;

将与互信息正则化器、结合,形成以下目标:(22);

其中,是控制互信息最大化影响的超参数。

9.根据权利要求8所述的一种基于脑-语言-视觉大模型的认知状态可解释方法,其特征在于,S4中,通过GCN将知识图谱嵌入到大语言模型中,将实体和关系嵌入转化为向量,作为模型输入的额外特征,并与脑-视觉-语言多模态数据进行融合,对于联合潜变量设知识图谱中每个实体和关系的嵌入表示为,则知识嵌入的表达为:(23);

其中,是知识图谱中第个实体的原始表示,是知识嵌入函数,输出是对应实体的嵌入向量;

将各模态特征和知识嵌入进行融合,得到综合特征表示:(24)。