欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025111782617
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,包括:

S1:构建融合注意力机制的多模态协同诊断模型;所述多模态协同诊断模型包括特征提取子网络和跨模态注意力模块;

S2:采集多模态数据并进行预处理,将其输入特征提取子网络得到多模态初始特征,再输入至跨模态注意力模块,通过计算模态特征间的相似度生成注意力权重,将多模态初始特征与注意力权重相乘,得到加权后的多模态特征;

S3:设计多尺度特征提取子网络,输入加权后的多模态特征得到多尺度多模态融合特征,经级联处理后得到缺陷的类型和严重程度的初步诊断结果;

S4:检测预处理后的多模态数据的完整性,通过级联式协同诊断得到适配模态缺失场景的诊断结果;

S5:将初步诊断结果和适配模态缺失场景的诊断结果与缺陷标注样本进行比对,基于对比结果得到训练优化后的多模态协同诊断模型,并将待诊断样本的多模态数据输入至训练优化后的多模态协同诊断模型中,输出最终缺陷诊断结果,并将最终缺陷诊断结果作为新的缺陷标注样本。

2.如权利要求1所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述多模态协同诊断模型包括特征提取子网络和跨模态注意力模块;

所述特征提取子网络包含至少3个并行的模态特征提取分支,每个模态特征提取分支对应一种模态数据,所述模态特征提取分支包括视觉模态特征提取分支、声学模态特征提取分支和力学模态特征提取分支;

所述跨模态注意力模块包含特征关联度计算层和权重生成层,所述特征关联度计算层接收来自特征提取子网络的多模态特征,通过计算模态特征间的余弦相似度,生成模态间相似度矩阵,所述权重生成层以模态间相似度矩阵为输入,采用softmax函数生成注意力权重。

3.如权利要求2所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述特征关联度计算层的计算方式为:对于视觉、声学、力学三种模态的初始特征,分别计算视觉与声学、视觉与力学、声学与力学的互信息值,构建3×3的模态间相似度矩阵,并将所述模态间相似度矩阵元素值进行归一化。

4.如权利要求3所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述多尺度特征提取子网络包含小尺度分支、中尺度分支和大尺度分支3个尺度分支,每个尺度分支的输出特征通过特征拼接整合后输入至加权融合层,所述加权融合层的权重参数通过反向传播动态优化,自动调整不同尺度特征的融合权重;

级联处理时,先将多尺度多模态融合特征输入至缺陷概率初步判断层,当输出概率值小于预设的概率阈值时,判定为无缺陷样本并剔除,剩余样本输入至缺陷分类层和严重程度评估层,从而得到初步诊断结果;

所述缺陷概率初步判断层采用全连接神经网络,输出样本存在缺陷概率值;所述缺陷分类层采用分类神经网络,输出缺陷类型;所述严重程度评估层采用回归神经网络,输出缺陷严重程度。

5.如权利要求4所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述每个尺度分支的输出特征通过特征拼接整合后输入至加权融合层,包括:将小尺度分支、中尺度分支和大尺度分支的输出特征图按照通道维度进行拼接,得到拼接后的特征图;

将拼接后的特征图输入加权融合层,输出为不同尺度特征的融合权重,所述加权融合层采用全连接神经网络,所述全连接神经网络的隐藏层采用ReLU激活函数,输出层采用softmax激活函数;

通过反向传播算法对加权融合层的权重参数进行动态优化。

6.如权利要求5所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述检测预处理后的多模态数据的完整性的方式包括:在数据采集端,为每种模态数据生成基于SHA-256算法数据完整性校验码,并将数据完整性校验码与多模态数据一同传输至处理端;

在处理端,对接收到的多模态数据重新计算校验码,并与采集端传输过来的数据完整性校验码进行比对,若校验码一致,则认为多模态数据完整,若不一致,则认为多模态数据缺失。

7.如权利要求6所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述检测预处理后的多模态数据的完整性的方式还包括:当检测到视觉模态数据缺失时,激活备用网络分支A,即删除视觉模态特征提取分支,将声学和力学模态特征直接输入跨模态注意力模块简化版本,所述跨模态注意力模块简化版本的特征关联度计算层仅计算声学与力学特征的相似度,生成相似度矩阵后,经权重生成层得到声学模态和力学模态的注意力权重,加权后的特征直接输入多尺度特征提取子网络;

当检测到声学模态数据缺失时,激活备用网络分支B,即删除声学模态特征提取分支,在跨模态注意力模块中增加视觉与力学特征的直接映射层,所述直接映射层采用全连接神经网络,将视觉特征映射到力学特征空间,然后计算映射后的视觉特征与力学特征的相似度,生成相似度矩阵,进而生成注意力权重;

当检测到力学模态数据缺失时,激活备用网络分支C,即删除力学模态特征提取分支,在多尺度特征提取子网络的小尺度分支后增加视觉与声学特征的融合补偿层,所述融合补偿层采用卷积神经网络,通过残差连接将视觉小尺度特征与声学小尺度特征相加得到融合后的特征,然后输入至多尺度特征提取分支和加权融合层,完成缺陷诊断。

8.如权利要求7所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,所述级联式协同诊断采用分层决策机制,当仅存在单一模态数据时,激活基础诊断模型,采用该单一模态数据的历史诊断准确率对输出结果进行加权修正;当存在两种模态数据时,激活双模态协同模型;当存在三种模态数据时,激活全模态融合模型,输出最高置信度的诊断结果,所述基础诊断模型、双模态协同模型、全模态融合模型的切换通过模态状态标识自动触发。

9.一种基于多模态数据协同训练的缺陷诊断系统,其用于实现权利要求1-8中任一项所述的一种基于多模态数据协同训练的缺陷诊断方法,其特征在于,包括:模型构建模块、数据处理模块、特征提取模块、初步诊断模块、协同诊断模块、诊断与更新模块;

所述模型构建模块,用于构建包含特征提取和跨模态注意力机制的多模态协同诊断模型;

所述数据处理模块,用于采集多模态数据,并进行预处理;

所述特征提取模块,用于利用特征提取子网络从预处理后的多模态数据中提取初始特征,并通过跨模态注意力模块生成加权后的多模态特征;

所述初步诊断模块,用于设计多尺度特征提取子网络,对加权后的多模态特征进行进一步提取和融合,得到多尺度多模态融合特征,并给出缺陷的类型和严重程度的初步诊断结果;

所述协同诊断模块,用于检测预处理后的多模态数据的完整性,并在模态缺失的情况下通过级联式协同诊断得到诊断结果;

所述诊断与更新模块,用于将待诊断样本的多模态数据输入训练优化后的多模态协同诊断模型中,输出最终缺陷诊断结果,并将最终诊断结果作为新的缺陷标注样本。