欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024112443127
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于跨尺度空谱特征融合网络的病理高光谱图像检测方法,其特征在于,所述方法包括以下步骤:S100:获取高光谱图片构成数据集,对数据集进行预处理,得到预处理后的数据集;

S200:构建高光谱图像检测模型,包括基于多尺度特征提取的编码器、基于transformer的跨尺度特征提取网络和特征注意力解码器;

S300:将预处理后的数据集输入至基于多尺度特征提取的编码器中,提取图像特征,得到多尺度编码特征图输出;

S400:将多尺度编码特征输入至基于transformer的跨尺度特征提取网络,对编码特征进行跨尺度特征提取,得到最终跨尺度特征图;基于transformer的跨尺度特征提取网络包括多头注意力模块、跨尺度特征提取模块和多层感知器模块,S400包括:S410:利用多头自注意力模块对第一个编码特征图之外的多尺度编码特征图分别进行自注意力机制处理;

S420:利用插值将S410得到的不同大小的特征图化为统一大小,利用基于transformer的交叉注意力对统一大小的特征图进行跨尺度特征提取,得到跨尺度特征融合输出;

S430:利用多层感知器对获得的跨尺度特征融合输出进行逐层处理和变换,增强局部信息的表示,得到最终跨尺度特征输出;

S410具体为:将第一个编码特征图之外的多尺度编码特征图分别输入不同的多头自注意力机制中,进行特征分割处理,根据注意力头的数目将其平均分割为若干个空间,进行并行自注意力机制处理,最后将其输出进行拼接合并;

S420具体为:针对每个编码特征图,将其他编码特征图利用双线性插值调整为统一大小,双线性插值通过利用周围四个像素的值来计算目标像素的值;然后利用基于transformer的交叉注意力对S410输出的特征图进行跨尺度特征提取,将当前处理的编码特征图看作值向量,其他两个编码特征图分别看作查询向量和键向量,利用三个可学习的投影矩阵Wq、Wk和Wv分别进行映射处理,再使用查询向量Q和键向量K进行点积操作,并通过Relu函数获得注意力权重,将最有用的注意力进行特征聚合,自动保证注意力权重的稀疏性;最后,将注意力权重与值向量V相乘,并对结果进行求和,得到与编码特征图数量对应的跨尺度特征融合输出;

S430:将与编码特征图数量对应的跨尺度特征融合输出输入对应的多层感知器模块,对输入特征进行逐层处理和变换,得到与跨尺度特征融合输出数量对应的最终跨尺度特征输出;

S500:将跨尺度特征图输入至特征注意力解码器中进行特征注意力机制解码处理,得到分割结果;S500包括:S510:将跨尺度特征图进行上采样,并与对应大小的编码器特征图进行拼接,且利用插值将所有拼接后的特征图统一大小,得到解码特征图;

S520:将所有解码特征图进行拼接,通过池化层,得到池化特征图,与原始拼接特征图进行注意力操作,得到对应的特征注意力图;

S530:最后将特征注意力图经过3D卷积、sigmoid和光谱平均池化操作,获得分割结果;

S510具体为:

接收来自编码器的最后一个多尺度编码特征图和对应的跨尺度特征输出图,解码器先对跨尺度特征图进行上采样,将特征图的空间分辨率扩大一倍,然后将解码器上采样后的特征图与编码器中对应层的编码特征图进行拼接,重复上述过程,直到原始拼接特征图的尺寸恢复到输入图像的尺寸,利用双线性插值方法将四个解码特征图变换到统一大小;

S520具体为:将统一大小后的解码特征图沿着光谱方向进行拼接,得到拼接特征图,将其送入池化层中进行池化操作,得到对应的池化特征图,然后将其分别送入线性层,得到对应的Qdecoder,Kdecoder,因此,特征注意力权重矩阵可以由下式计算:Wdecoder=conv2D(QdecoderKdecoderT)

其中conv2D(·)表示内核为3×3,填充设置为1的2D卷积,这种操作用于合并相邻像素之间的相关信息,将原始拼接特征图进行线性操作,得到对应的Vdecoder,从而得到对应的特征注意力图Outdecoder,由下式计算:S600:利用交叉验证方法结合预设的损失函数对高光谱图像检测模型进行训练,当达到预设的训练结束条件时,得到训练好的检测模型,根据训练好的检测模型完成实时病理高光谱图像的分割。

2.根据权利要求1所述的方法,其特征在于,S100包括:

S110:对数据集进行缩放操作,将其缩放为原来的四分之一大小的尺寸;

S120:利用albumentation库进行数据增强处理操作,得到预训练数据集;数据增强处理操作包括旋转、缩放、反转、颜色变换和模糊;

S130:按照一定比例对预训练数据集进行划分,得到对应的训练集和测试集,并且将训练集裁剪为预设尺寸大小。

3.根据权利要求2所述的方法,其特征在于,基于多尺度特征提取的编码器包括3D自适应池化层、深度可分离卷积和多尺度卷积,S300包括:S310:将预处理后的数据集输入至基于多尺度特征提取的编码器中,利用3D自适应池化层对预处理后的数据集中的图像进行池化处理,得到最初的特征图像;

S320:利用两个深度可分离卷积对最初的特征图像进行处理,改变最初的特征图像的维度;

S330:利用多尺度膨胀卷积对改变了维度后的特征图进行特征提取,得到第一阶段的多尺度编码特征,S340:将第一阶段的多尺度编码特征输入至3D自适应池化层,重复S310至S330的步骤,得到第二阶段的多尺度编码特征,将上一阶段的输出作为下一阶段的输入,如此重复四次,得到四个不同大小的编码特征图输出。

4.根据权利要求3所述的方法,其特征在于,S310具体为:

利用3D自适应池化层对输入的预处理后的数据集中的图像进行池化处理,3D自适应池化层是一种池化操作,它根据输入特征图的大小自动调整池化区域,使得输出特征图的每个维度都能达到预设的尺寸,得到池化后的最初特征图像;

两个深度可分离卷积包括深度卷积和逐点卷积,S320具体为:假设最初特征图像的维度为H×W×C,深度卷积对每个通道应用大小为K×K的卷积核,进行空间卷积,产生H×W×C的输出,然后,逐点卷积使用1×1×C的卷积核,将深度卷积的输出组合到新的特征图中,将输出转化为H×W×D,其中D是输出通道数;

S330具体为:应用三个不同膨胀率的膨胀卷积,对改变了维度后的特征图进行特征提取,分别提取不同尺度的特征图,将不同尺度的特征图通过加权平均的方法结合,得到综合的多尺度编码特征图。

5.根据权利要求4所述的方法,其特征在于,S420中针对每个编码特征图,将其他编码特征图利用双线性插值调整为统一大小,双线性插值通过利用周围四个像素的值来计算目标像素的值具体为:I′(x′,y′)=(1-Δx)(1-Δy)I(x1,y1)+Δx(1-Δy)I(x2,y1)+Δy(1-Δx)I(x1,y2)+ΔxΔyI(x2,y2)其中,(x',y')是目标图中的像素坐标,(x1,y1)和(x2,y2)分别是输入特征图中与目标像素相邻的四个像素的坐标,Δx和Δy是目标坐标相对于输入坐标的偏移量;

S420中将当前处理的编码特征图看作值向量,其他两个编码特征图分别看作查询向量和键向量,利用三个可学习的投影矩阵Wq、Wk和Wv分别进行映射处理,具体为:Q=Wq×q,K=Wk×k,V=Wv×v

其中,q、k、v分别表示处理前的特征图的值向量、查询向量和键向量,Q、K、V分别表示经映射处理后的特征图的值向量、查询向量和键向量。

6.根据权利要求5所述的方法,其特征在于,S600包括:

将数据集随机均分成四个互不相交的子集,然后,进行四次训练和验证,每次使用一个子集作为验证集,其余三个子集作为训练集,记录每次验证的结果;最后计算四次验证结果的平均值,作为模型的最终评估指标,不断重复以上步骤,根据训练集得到的损失函数进行不断迭代,直到损失小于某一阈值或完成预定迭代次数,得到最终的模型权重进行记录,根据训练好的检测模型完成实时病理高光谱图像的分割。