1.一种基于图像识别的神经肿瘤识别定位方法,其特征在于,该方法包括以下步骤:获取患者的神经医学图像,对图像进行预处理,其中预处理包括图像降噪、灰度归一化和图像增强;
利用Transformer-ConvNet混合模型对预处理后的图像进行特征提取,将提取到的特征输入到分类器中,进行肿瘤的初步识别;
若初步识别存在肿瘤,利用基于可变形卷积的RPN网络在图像中生成包含肿瘤的候选区域;
采用全连接神经网络对候选区域进行语义分割,确定肿瘤的具体位置和轮廓;
根据肿瘤的具体位置和轮廓,结合肿瘤的形态学特征,生成最终的识别结果;
利用Transformer-ConvNet混合模型对预处理后的图像进行特征提取,包括:将预处理后的图像输入Transformer-ConvNet混合模型,在ConvNet部分,经过多层卷积和池化操作,得到具有不同尺度的局部特征图,将局部特征图展平为序列,作为Transformer的输入;
通过多头自注意力机制计算每个位置与其他位置的注意力权重,捕捉图像不同区域之间的长距离依赖关系,获取全局特征;
将Transformer部分输出的全局特征与ConvNet提取的局部特征进行融合,得到混合特征;
其中,Transformer部分由多个Transformer编码器组成,每个编码器包含多头自注意力机制和前馈神经网络。
2.如权利要求1所述的一种基于图像识别的神经肿瘤识别定位方法,其特征在于,所述获取患者的神经医学图像,对图像进行预处理,包括:获取患者的神经医学图像,通过搜索图像中与当前像素块相似的所有区域,计算加权均值进行降噪,得到降噪后的图像;
通过Otsu阈值法提取有效区域,计算有效区域内灰度值的1%和99%分位数,截断超出范围的极端值,将截断后的灰度值线性缩放到目标区间,得到灰度归一化后的图像;
将灰度归一化后的图像划分为重叠的子块,对每个子块独立进行直方图均衡化,设定对比度限制阈值为0.01,超过阈值的部分均匀分布到其他灰度级,通过双线性插值合并相邻子块的处理结果,得到预处理后的图像。
3.如权利要求1所述的一种基于图像识别的神经肿瘤识别定位方法,其特征在于,所述将提取到的特征输入到分类器中,进行肿瘤的初步识别,包括:将Transformer-ConvNet混合模型提取到的特征输入到分类器的三个并行分支,分别进行不同尺度的特征抽象,对全局上下文分支输出通过全连接层生成注意力权重,对局部细节分支输出和边界敏感分支输出分别通过3×3卷积和Sigmoid激活函数生成空间注意力图 ;
将三个分支的输出进行融合,得到融合特征,基于融合特征预测肿瘤的病理类型输出概率分布 ,并评估肿瘤的恶性程度输出分类概率。
4.如权利要求1所述的一种基于图像识别的神经肿瘤识别定位方法,其特征在于,所述若初步识别存在肿瘤,利用基于可变形卷积的RPN网络在图像中生成包含肿瘤的候选区域,包括:将经过特征提取和初步识别的图像特征输入可变形卷积RPN网络,通过可变形卷积层提取深层特征,锚点生成模块在深层特征的每个位置生成多个锚点;
分类回归模块对每个锚点进行处理,输出每个锚点属于肿瘤候选区域的概率以及对应的边界框偏移量;
根据0.7的置信度阈值筛选出高概率的锚点,并通过边界框回归调整锚点的位置和大小,生成包含肿瘤的候选区域。
5.如权利要求1所述的一种基于图像识别的神经肿瘤识别定位方法,其特征在于,所述采用全连接神经网络对候选区域进行语义分割,确定肿瘤的具体位置和轮廓,包括:将生成的每个肿瘤候选区域对应的图像区域输入全连接神经网络,全连接神经网络对每个像素进行分类,判断其属于肿瘤组织或者正常神经组织;
通过Softmax函数得到每个像素属于不同类别的概率分布,取概率最大的类别作为该像素的类别标签,从而得到候选区域的语义分割结果,根据分割结果,确定肿瘤的具体位置和轮廓。
6.如权利要求1所述的一种基于图像识别的神经肿瘤识别定位方法,其特征在于,所述根据肿瘤的具体位置和轮廓,结合肿瘤的形态学特征,生成最终的识别结果,包括:将语义分割得到的肿瘤轮廓映射回原始的神经医学图像,使用刚性配准算法进行肿瘤区域对齐,生成肿瘤掩码;
基于肿瘤掩码计算体积、表面积、球形度和分叶系数,将肿瘤区域分为坏死区、强化区和水肿区,并计算各区占比及空间分布特征;
使用灰度共生矩阵和局部二值模式提取肿瘤内部的纹理特征,在原始的神经医学图像上叠加彩色编码的肿瘤轮廓,得到最终的识别结果。
7.一种基于图像识别的神经肿瘤识别定位系统,其特征在于,该系统包括:
图像预处理模块,用于获取患者的神经医学图像,对图像进行预处理,其中预处理包括图像降噪、灰度归一化和图像增强;
特征提取模块,用于利用Transformer-ConvNet混合模型对预处理后的图像进行特征提取,将提取到的特征输入到分类器中,进行肿瘤的初步识别:将预处理后的图像输入Transformer-ConvNet混合模型,在ConvNet部分,经过多层卷积和池化操作,得到具有不同尺度的局部特征图,将局部特征图展平为序列,作为Transformer的输入;通过多头自注意力机制计算每个位置与其他位置的注意力权重,捕捉图像不同区域之间的长距离依赖关系,获取全局特征;将Transformer部分输出的全局特征与ConvNet提取的局部特征进行融合,得到混合特征;其中,Transformer部分由多个Transformer编码器组成,每个编码器包含多头自注意力机制和前馈神经网络;
第一生成模块,用于若初步识别存在肿瘤,利用基于可变形卷积的RPN网络在图像中生成包含肿瘤的候选区域;
语义分割模块,用于采用全连接神经网络对候选区域进行语义分割,确定肿瘤的具体位置和轮廓;
第二生成模块,用于根据肿瘤的具体位置和轮廓,结合肿瘤的形态学特征,生成最终的识别结果。
8.一种基于图像识别的神经肿瘤识别定位设备,其特征在于,所述基于图像识别的神经肿瘤识别定位设备包括存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于图像识别的神经肿瘤识别定位设备执行如权利要求1-6中任一项所述的基于图像识别的神经肿瘤识别定位方法的各个步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-6中任一项所述基于图像识别的神经肿瘤识别定位方法的各个步骤。