1.一种基于双网络去影的乳腺超声肿瘤病变区域检测方法,其特征在于,包括以下步骤:
获取待预测的乳腺超声图像并进行预处理,得到输入图像;
构建清晰超声模型、存影超声模型和若干个注意力特征融合模块,在所述清晰超声模型的训练过程中,结合所述存影超声模型和注意力特征融合模块对所述清晰超声模型进行训练,得到经训练的清晰超声模型,所述清晰超声模型包括依次连接的若干个第一特征提取单元,所述存影超声模型包括依次连接的若干个特征适应模块,分别将经过预处理后的画面清晰的乳腺超声图像和画面存影的乳腺超声图像分别输入所述清晰超声模型和存影超声模型中,在每个阶段中均存在一个第一特征提取单元、一个特征适应模块和一个注意力特征融合模块,所述第一特征提取单元包括依次连接的第一CBS模块和C3模块,每个所述C3模块的输出特征为第一特征,所述特征适应模块包括依次连接的若干个第二特征提取单元,所述第二特征提取单元包括第二CBS模块、第三CBS模块和第一ReLu激活函数层,每个所述第二特征提取单元的输入特征分别输入到第二CBS模块和第三CBS模块,得到第三特征和第四特征,将所述第三特征和第四特征相加后输入到所述第一ReLu激活函数层,得到所述第二特征提取单元的输出特征,所述画面存影的乳腺超声图像作为第一个所述第二特征提取单元的输入特征,上一个所述第二特征提取单元的输出特征作为下一个所述第二特征提取单元的输入特征,最后一个所述第二特征提取单元的输出特征作为第二特征,所述第一特征提取单元输出的第一特征和所述特征适应模块输出的第二特征输入到对应的所述注意力特征融合模块中,所述注意力特征融合模块包括三个第四CBS模块和一个第二ReLu激活函数层,所述第一特征、所述第二特征以及所述第一特征和第二特征相加的结果分别输入到三个第四CBS模块,得到第五特征、第六特征和第七特征,所述第七特征经过所述第二ReLu激活函数层后分别与所述第五特征和第六特征相乘,得到第八特征和第九特征,所述第八特征和第九特征相加后,得到融合特征,上一阶段的融合特征和上一阶段的所述特征适应模块输出的第二特征相加后输入到下一阶段的所述特征适应模块中,最后一个阶段的融合特征和最后一个阶段的所述特征适应模块输出的第二特征相加后与最后一个阶段的所述第一特征提取单元输出的第一特征相加得到画面清晰的乳腺超声图像和画面存影的乳腺超声图像所对应的乳腺超声肿瘤病变区域检测结果;
将所述输入图像输入所述经训练的清晰超声模型,得到待预测的乳腺超声图像所对应的乳腺超声肿瘤病变区域检测结果。
2.根据权利要求1所述的基于双网络去影的乳腺超声肿瘤病变区域检测方法,其特征在于,第一个特征提取单元的第一CBS模块中的卷积层的卷积核大小为1×1,其余的特征提取单元的第一CBS模块中的卷积层的卷积核大小为3×3。
3.根据权利要求1所述的基于双网络去影的乳腺超声肿瘤病变区域检测方法,其特征在于,所述第二CBS模块中的卷积层的卷积核大小为1×1,第三CBS模块中的卷积层的卷积核大小为3×3,所述第一特征提取单元、特征适应模块、注意力特征融合模块的个数为5个,所述第二特征提取单元的个数为4个。
4.根据权利要求1所述的基于双网络去影的乳腺超声肿瘤病变区域检测方法,其特征在于,第四CBS模块中卷积层的卷积核大小为1×1。
5.根据权利要求1所述的基于双网络去影的乳腺超声肿瘤病变区域检测方法,其特征在于,所述画面清晰的乳腺超声图像和画面存影的乳腺超声图像为同一个乳腺超声图像的两种画面类型的图像,经过预处理后标注出该乳腺超声图像中乳腺超声肿瘤的良恶性类别以及位置,生成训练数据,采用训练数据对所述清晰超声模型进行训练。
6.一种基于双网络去影的乳腺超声肿瘤病变区域检测装置,其特征在于,包括:
图像处理模块,被配置为获取待预测的乳腺超声图像并进行预处理,得到输入图像;
训练模块,被配置为构建清晰超声模型、存影超声模型和若干个注意力特征融合模块,在所述清晰超声模型的训练过程中,结合所述存影超声模型和注意力特征融合模块对所述清晰超声模型进行训练,得到经训练的清晰超声模型,所述清晰超声模型包括依次连接的若干个第一特征提取单元,所述存影超声模型包括依次连接的若干个特征适应模块,分别将经过预处理后的画面清晰的乳腺超声图像和画面存影的乳腺超声图像分别输入所述清晰超声模型和存影超声模型中,在每个阶段中均存在一个第一特征提取单元、一个特征适应模块和一个注意力特征融合模块,所述第一特征提取单元包括依次连接的第一CBS模块和C3模块,每个所述C3模块的输出特征为第一特征,所述特征适应模块包括依次连接的若干个第二特征提取单元,所述第二特征提取单元包括第二CBS模块、第三CBS模块和第一ReLu激活函数层,每个所述第二特征提取单元的输入特征分别输入到第二CBS模块和第三CBS模块,得到第三特征和第四特征,将所述第三特征和第四特征相加后输入到所述第一ReLu激活函数层,得到所述第二特征提取单元的输出特征,所述画面存影的乳腺超声图像作为第一个所述第二特征提取单元的输入特征,上一个所述第二特征提取单元的输出特征作为下一个所述第二特征提取单元的输入特征,最后一个所述第二特征提取单元的输出特征作为第二特征,所述第一特征提取单元输出的第一特征和所述特征适应模块输出的第二特征输入到对应的所述注意力特征融合模块中,所述注意力特征融合模块包括三个第四CBS模块和一个第二ReLu激活函数层,所述第一特征、所述第二特征以及所述第一特征和第二特征相加的结果分别输入到三个第四CBS模块,得到第五特征、第六特征和第七特征,所述第七特征经过所述第二ReLu激活函数层后分别与所述第五特征和第六特征相乘,得到第八特征和第九特征,所述第八特征和第九特征相加后,得到融合特征,上一阶段的融合特征和上一阶段的所述特征适应模块输出的第二特征相加后输入到下一阶段的所述特征适应模块中,最后一个阶段的融合特征和最后一个阶段的所述特征适应模块输出的第二特征相加后与最后一个阶段的所述第一特征提取单元输出的第一特征相加得到画面清晰的乳腺超声图像和画面存影的乳腺超声图像所对应的乳腺超声肿瘤病变区域检测结果;
预测模块,被配置为将所述输入图像输入所述经训练的清晰超声模型,得到待预测的乳腺超声图像所对应的乳腺超声肿瘤病变区域检测结果。
7.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。