欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2024107724794
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-05-20
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多特征融合和弱监督定位的胃肠化生图像分类系统,其特征在于,包括:图像预处理模块,被配置为获取原始胃肠内窥镜图像并进行预处理,得到胃肠内窥镜图像;

病变激活图生成模块,被配置为将胃肠内窥镜图像的RGB图像转换为HSV图像和LBP图像,将RGB图像输入到预训练分类网络中,再次转换为HSV图像和LBP图像,分别进行特征提取后再融合得到融合特征,根据融合特征进行分类得到预测分类结果;根据预训练分类网络中RGB图像提取的特征图和预测分类结果生成RGB图像的病变激活图;所述根据预训练分类网络中RGB图像提取的特征图和预测分类结果生成RGB图像的病变激活图,具体为:计算预测结果关于预训练网络最后一个卷积层输出的梯度,根据梯度以及预测结果确定激活加权权重,所述计算预测结果关于预训练网络最后一个卷积层输出的梯度,根据梯度以及预测结果确定激活加权权重,具体为:其中,

将激活加权权重与最后一个卷积层输出的通道特征图相乘,得到融合后的特征图;

对融合后的特征图进行ReLU操作,得到初始病变激活图;

初始病变激活图经过上采样恢复到RGB图像的大小,得到病变激活图;

自适应加权模块,被配置为根据预训练分类网络的预测分类概率对病变激活图进行自适应加权,将加权后的病变激活图与对应的RGB图像进行逐像素融合,得到加权融合图像,所述根据预训练分类网络的预测分类概率对病变激活图进行自适应加权,将加权后的病变激活图与对应的RGB图像进行逐像素融合,得到加权融合图像,具体为:将预训练分类网络的预测分类概率归一化到[0,1];

对于预训练分类网络预测为0级的病变激活图,病变激活图的每个元素与1减去预测分类概率的结果相乘,对于预训练分类网络预测为1级和2级的病变激活图,病变激活图的每个元素与对应的预测概率相乘,完成病变激活图的加权;具体公式为:其中,P[c]表示类别c的归一化概率,c=0,1,2;*表示LAM中的每一个值与概率相乘,将加权后的病变激活图与胃肠内窥镜图像的RGB图像逐元素相乘,得到加权融合图像;

加权特征提取模块,被配置为通过残差网络提取HSV图像和LBP图像的底层细节特征,通过残差网络提取加权融合图像的高层语义特征;其中,通过ResNet50网络中的底层特征提取层提取HSV图像和LBP图像的低层细节特征,通过ResNet50网络中的全部特征提取层提取融合加权病变激活图的RGB图像的高层语义特征;

图像分类模块,被配置为利用多头自注意力机制和通道注意力机制对提取到的HSV图像底层细节特征、LBP图像底层细节特征和加权融合图像的高层语义特征进行加权融合,得到最终的融合图像,并利用最终的融合图像完成胃肠化生图像分类;所述利用多头自注意力机制和通道注意力机制对提取到的HSV图像底层细节特征、LBP图像底层细节特征和加权融合图像的高层语义特征进行加权融合,具体为:利用多头自注意力机制分别对提取到的HSV图像底层细节特征和LBP图像底层细节特征进行加权求和,得到多头自注意力机制的输出;

多头自注意力机制的输出与加权融合图像的高层语义特征均经过全局平均池化操作并在通道维度进行拼接,拼接后的特征经过通道注意力机制进行通道加权,得到最终的融合特征。

2.如权利要求1所述的基于多特征融合和弱监督定位的胃肠化生图像分类系统,其特征在于,所述获取原始胃肠内窥镜图像并进行预处理,得到胃肠内窥镜图像,具体为:统计所有原始胃肠内窥镜图像在HSV色彩空间下暗区和反射区的亮度和饱和度;

根据阈值将暗区和反射区的像素置为零,完成图像过滤;

统一把所有过滤后的图像放缩为224×224分辨率,并使用随机水平翻转和随机旋转进行数据扩增,得到胃肠内窥镜图像。

3.如权利要求1所述的基于多特征融合和弱监督定位的胃肠化生图像分类系统,其特征在于,所述通过残差网络提取HSV图像和LBP图像的底层细节特征,具体为:利用残差网络ResNet50,HSV图像经过卷积层、最大池化层,最后经过第一阶段的三个残差块,每个残差块都由三个卷积层组成,得到形状为[64,256,56,56]的HSV图像特征图;

利用残差网络ResNet50,LBP图像经过卷积层、最大池化层,最后经过第一阶段的三个残差块,每个残差块都由三个卷积层组成,得到形状为[64,256,56,56]的LBP图像特征图。

4.如权利要求1所述的基于多特征融合和弱监督定位的胃肠化生图像分类系统,其特征在于,所述通过残差网络提取加权融合图像的高层语义特征,具体为:利用残差网络ResNet50,加权融合图像经过卷积层、最大池化层,然后经过第一阶段的三个残差块,每个残差块都由三个卷积层组成,形状变为[64,256,56,56],经过第二阶段的四个残差块,形状变为[64,512,28,28],经过第三阶段的六个残差块,形状变为[64,1024,14,14],最后经过第四阶段的三个残差块,得到形状为[64,2048,7,7]的加权融合图像特征图。

5.如权利要求1所述的基于多特征融合和弱监督定位的胃肠化生图像分类系统,其特征在于,所述拼接后的特征经过通道注意力机制进行通道加权,得到最终的融合特征,具体为:拼接后的特征经过第一个全连接层进行降维,然后经过

激活后的特征经过第二个全连接层恢复到拼接后的特征的大小,再经过Sigmoid激活函数得到通道注意力权重;

将学习得到的通道注意力权重乘以拼接后的特征,得到最终的融合特征。

6.如权利要求1所述的基于多特征融合和弱监督定位的胃肠化生图像分类系统,其特征在于,利用最终的融合特征完成胃肠化生图像分类,具体为:最终的融合特征经过展平操作后形状变为[64,2560];

使用随机丢弃法使部分权重为零,防止模型过拟合;

展平后的特征最后经过输出通道为3的全连接层,输出三个类别的预测概率。