欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024101247058
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种视听场景下的听觉注意解码方法,其特征在于,包括:实时获取听者的脑电信号和视野图像;其中,所述脑电信号通过佩戴于听者头部的脑电信号采集设备采集得到,所述视野图像通过与听者头部同步运动的图像采集设备采集得到;

将所述脑电信号和所述视野图像输入基于机器学习的听觉注意解码模型,通过所述听觉注意解码模型得到目标说话者的空间方位,所述目标说话者为所述听者关注的说话者;

其中,所述听觉注意解码模型包括脑电模态流模块、视觉模态流模块、特征融合模块和带有激活函数的第一全连接层;

通过所述听觉注意解码模型得到目标说话者的空间方位,包括:通过所述脑电模态流模块对所述脑电信号进行特征提取得到目标脑电特征;

通过所述视觉模态流模块对所述视野图像进行特征提取得到目标视觉特征;

通过特征融合模块对所述目标脑电特征和所述目标视觉特征进行融合得到多模态特征;

通过所述第一全连接层对所述多模态特征进行预测得到预测结果;

根据所述预测结果确定目标说话者的空间方位;

其中,根据所述预测结果确定目标说话者的空间方位,包括:当所述目标说话者处于听者空间左侧的概率大于处于听者空间右侧的概率时,确定所述目标说话者处于听者空间左侧;

当所述目标说话者处于听者空间左侧的概率小于处于听者空间右侧的概率时,确定所述目标说话者处于听者空间右侧;

其中,所述脑电模态流模块包括卷积层、平均池化层、第一展平层和带有激活函数的第二全连接层;

通过所述脑电模态流模块对所述脑电信号进行特征提取得到目标脑电特征,包括:依次通过所述卷积层和所述平均池化层对所述脑电信号进行处理得到中间脑电特征;

依次通过所述第一展平层和所述第二全连接层对所述中间脑电特征进行处理得到所述目标脑电特征;

其中,所述中间脑电特征的提取公式如下:其中,

所述目标脑电特征的提取公式如下:

其中,

其中,所述视觉模态流模块包括VGG16模型、第二展平层和带有激活函数的三个第三全连接层;

通过所述视觉模态流模块对所述视野图像进行特征提取得到目标视觉特征,包括:通过预训练的所述VGG16模型对所述视野图像进行特征提取得到中间视觉特征;

依次通过所述第二展平层和三个所述第三全连接层对所述中间视觉特征进行处理得到所述目标视觉特征;

其中,所述中间视觉特征的提取公式如下:其中,

所述目标视觉特征的提取公式如下:

其中,

2.根据权利要求1所述的视听场景下的听觉注意解码方法,其特征在于,所述多模态特征的融合公式如下:其中,

所述预测结果的预测公式如下:

其中,

3.一种视听场景下的听觉注意解码装置,其应用了权利要求1或2所述的视听场景下的听觉注意解码方法,其特征在于,所述听觉注意解码装置包括:数据获取模块,用于实时获取听者的脑电信号和视野图像;其中,所述脑电信号通过佩戴于听者头部的脑电信号采集设备采集得到,所述视野图像通过与听者头部同步运动的图像采集设备采集得到;

目标定位模块,用于将所述脑电信号和所述视野图像输入训练后的听觉注意解码模型,通过所述听觉注意解码模型得到目标说话者的空间方位。

4.一种助听系统,其特征在于,包括:脑电信号采集设备,可佩戴于听者脑部,用于采集听者的脑电信号;

图像采集设备,可与听者头部同步运动,用于采集听者的视野图像;

助听设备,可佩戴于听者耳部,其包括用于执行权利要求1或2所述的视听场景下的听觉注意解码方法的处理器。