欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025102477085
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,步骤如下:S1、采集面向智能体共情型响应的学习者的多模态情感数据,采集的多模态情感数据包括面向情感共情的学习者脑数据和智能体协同的对话数据;

S2、采用多模态数据的情感状态判别方法对采集到的脑机耦合下学习者的多模态数据进行情绪分析,所述情绪分析分别从基于脑机耦合学习方法的学习者面部情绪分析、基于二阶交互注意力机制的学习者对话文本情感识别、融合脑-视觉-语言多模态数据的学习者情感状态判别三部分进行;

S3、基于情绪识别结果和对话内容设计多模态共情响应生成框架,构建基于多模态表征的共情响应模型,并进行共情响应模型联合学习训练,形成学习者情绪引导下基大型语言模型多代理系统的智能体共情型响应模型;

S3中,基于多模态表征的共情响应模型构建的具体步骤如下:S31、进行多模态输入感知与特征融合:将学习者与智能体的对话内容作为多模态输入,转换为能通过大语言模型求解的特征向量,图像通过预训练的视觉编码器进行编码,并通过BLIP和MLP将图像转化为特征向量与文本特征融合;其中,每个文本标记被嵌入为一个文本的语义信息向量,式中,为实数向量空间,为特征向量维度;

S32、进行多模态输出与生成:进行扩展词汇表、文本生成、图像生成的操作得到损失函数优化模型,并进行检索增强图像生成操作。

2.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S1中,面向情感共情的学习者脑数据采集具体步骤为:S11、在实验室环境中采集学习者的脑数据,令学习者观看数据集中不同的情感图像来获取EEG信号;

S12、EEG信号采集后,去除无效片段和伪迹,采用巴特沃斯滤波器过滤1Hz-75Hz的频段。

3.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S1中,智能体协同的对话数据采集具体步骤为:在完成阶段性课堂学习任务后,学习者针对学习内容、学习情绪进行自我感知,并报告给智能体,与智能体产生对话与交流,并将对话的上下文数据集记为,对话情境记为,智能体模型理解对话中的情绪;其中,表示第次发言,包含个词汇,情境表示由个词组成的情境描述,式中wq为情境背景信息。

4.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S2中,基于脑机耦合学习方法的学习者面部情绪分析的具体步骤如下:S211、使用EEGNet和CNNNet对面部表情图像与脑电图信号进行初步特征提取;

其中,针对视觉领域的面部表情图像,采用改进的卷积神经网络CNNNet提取初步特征,视觉领域的初步表示:;

式中,为改进的卷积神经网络CNNNet,为给定视觉图像,为视觉领域的初步表示;

针对脑电图信号,采用EEGNet的特征提取器进行初步特征提取,认知领域的初步表示:;

式中,为EEGNet为EEG脑机接口设计的紧凑型卷积神经网络,R为给定脑电图信号,为认知领域的初步表示;

S212、构建认知-视觉学习框架,将获得的初步表征投影到公共通道和私有通道,并对公共通道和私有通道表示编码;

其中,公共通道采用共享参数的编码函数,学习捕捉认知与视觉领域之间的共性信息,经过训练后,公共通道提取认知与视觉领域的共享特征,给定和,则认知与视觉领域模态的公共表示为:;

;

式中,是基于简单全连接神经层的编码函数,为认知和视觉领域的共享参数;

私有表示由认知与视觉领域的私有通道输出,捕捉与认知与视觉领域相关的私有信息,给定和,则私有表示为:;

;

式中,为视觉领域的私有通道的私有编码函数,为认知领域的私有通道的私有编码函数,通过全连接神经层实现,为视觉领域的私有通道的私有编码函数的参数,为认知领域的私有通道的私有编码函数的参数;

S213、获得公共表示和私有表示后,对获得公共表示和私有表示进行拼接操作,并进行情绪识别任务;

其中,视觉领域和认知领域的公有表示及私有表示经过拼接后的表示分别定义为:;

;

式中,是视觉领域拼接后的表示,是认知领域拼接后的表示;

视觉领域和认知领域的情感识别任务的表达式分别为:

;

;

式中,和是图像和EEG信号的预测标签,采用KNN作为函数的模型,是视觉领域情感识别任务的解码函数,是认知领域情感识别任务的解码函数。

5.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S2中,基于二阶交互注意力机制的学习者对话文本情感识别的具体步骤如下:S221、针对学习者的学习情绪、学习感受报告的发言构建显性信息对和隐性信息对作为输入,送入信息关联模块;

S222、编码对话信息,将学习者与智能体的对话发言和情境视为显式信息,将推理知识视为隐式信息,并对显式信息和隐式信息进行处理,得到对话发言表示、情境表示和推理知识的语义表示;

S223、采用信息关联模块捕捉显性和隐性信息中的重要关联词,进行构造关联矩阵、一阶交互注意力、二阶交互注意力、将存储关联词到记忆的操作步骤,得到关联表示,其表达式为:;

式中,为关联信息,,为存储器记忆中关联词的数量,为编码器;

S224、将对话发言表示、情境表示、关联表示和推理知识表示输入到聚合网络中,获得情感表示,使用情感表示分别预测情感概率;其中,情感概率的表达式为:;

;

;

;

式中,,表示长度为的实数向量空间,是情感的数量,为对话发言表示情感概率,为情境表示情感概率,为关联表示情感概率,为推理知识表示情感概率,是softmax函数,为聚合网络用于处理发言表示和情境表示的相关输入,和表示结构相同但参数不同的聚合网络,用于处理关联表示相关输入,用于处理推理知识表示相关输入,为对话发言表示,为情境表示,为关联表示,为推理知识表示;

S225、将情感概率相乘作为最终的情感概率,使用对数似然损失函数根据情感概率和真实标签进行参数优化;其表达式为:;,其中,为通过计算预测情感概率与真实情感标签之间的对数差异来训练和优化模型的损失函数。

6.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S2中,融合脑-视觉-语言多模态数据的学习者情感状态判别的具体步骤如下:S231、接收来自二阶注意力机制得出的情感预测结果、基于视觉图像的情感预测标签和基于EEG信号的情感预测标签,并将它们拼接成一个向量;

S232、将拼接后的输入通过多个全连接层MLP进行处理,每一层通过权重矩阵和激活函数转换,生成最终的情感预测结果,表达式为:;所述MLP是一个多层感知机,包含多个全连接层和激活函数。

7.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S3中,所述多模态共情响应生成框架引入感知与检索模型PRM、生成模型GM、检索增强模型RAM三种模型处理多模态数据;所述多模态共情响应生成框架利用ViT-G/14、Qformer以及线性层编码图像,采用DALL·E2图像解码器进行图像解码,使用GPT-4进行语言建模。

8.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S31、进行多模态输入感知与特征融合过程的输入的文本和图像的特征表达式为:;

;

式中,是上下文嵌入序列,提供给语言模型用于条件生成内容,表示第个模态标记的嵌入向量,下标是模态指示符,表示嵌入的模态类型,文本为,图像为;

接收多模态输入后,生成的文本标记和视觉标记联合序列表达式为:;

式中,,是生成的第个文本标记和视觉标记联合序列,是包含文本标记和视觉标记的混合词汇空间;

S32中,得到的各个损失函数表达式为:

;

;

;

式中,为语言建模损失,为图像生成损失,为图像检索损失,为图像的嵌入表示并表示视觉特征,为文本到图像的对比损失,为图像到文本的对比损失,是生成任务中的隐藏状态,是查询特征,是冻结的文本编码器,是图像的描述,是情绪信息。

9.根据权利要求1所述的学习者情绪引导下基于脑机耦合的智能体共情响应方法,其特征在于,S3中,所述共情响应模型联合学习训练采用以端到端的方式训练模型,使用适配器微调方法进行联合微调,同步更新LLM中有限数量的参数,同时更新输入的线性投影层和特征映射模块,得到最终整体损失函数;所述最终的损失函数包括语言建模损失、图像生成损失和图像检索损失,则整体损失函数表示为:;

式中,为超参数,对于感知与检索模型,;对于生成模型,。