1.一种基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述方法包括以下步骤:
步骤一,对X光片图像进行预处理,提取图像中手腕骨部位;
步骤二,构建卷积神经网络提取图像特征,构建卷积神经网络的过程为:步骤2.1:输入步骤一处理后的一组手骨X光片;
步骤2.2:先经过7*7大小的卷积操作,随后进行batch normalization,Relu激活函数操作;
步骤2.3:经过MaxPooling操作,提取主要特征;
步骤2.4:提取的特征经过残差卷积模块,该模块包括2组3*3的卷积操作和batch normalization;
步骤2.5:重复步骤2.4三次,得到X光片粗糙的特征Fcoarse;
步骤2.6:将Fcoarse输入到注意力机制模块中,得到精细的特征Ffine;
步骤2.7:将Ffine输入到空间金字塔池化模块中,得到固定的512*21大小的一维向量Vimage;
步骤三,构建文本特征提取模型;
步骤四,构建融合层,合并图像特征和文本特征;
步骤五,模型训练,充分收敛后,保存并导出模型结构及权重参数。
2.如权利要求1所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤一中,对手骨X光片预处理过程为:步骤1.1:图像二值化;
步骤1.2:腐蚀和膨胀,填补手骨区域的黑色区域;
步骤1.3:轮廓检测,提取手腕骨部位轮廓;
步骤1.4:自定义轮廓长度阈值,去除手腕骨腕部多余的信息。
3.如权利要求1或2所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤三中,构建文本特征提取网络的过程为:步骤3.1:输入步骤2.1手骨X光片所对应的文本信息;
步骤3.2:经过有N个隐藏神经单元的全连接层,N代表文本信息的个数,全连接层后接一层Batch Normalization和ReLU激活函数;
步骤3.3:重复两次步骤3.2,得到文本特征Vtext。
4.如权利要求3所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤四中,构建特征融合层:步骤4.1:步骤2.7所得的一维向量Vimage经过一层含有N个隐藏神经单元的全连接层,得到压缩后的一维特征V′image;
步骤4.2:将V′image和步骤3.3得到的文本特征Vtext拼接,得到2*N大小的Vfusion;
步骤4.3:经过有2*N个隐藏神经单元的全连接层,然后接一层Batch Normalization和ReLU激活函数,得到最后的骨龄评估值。
5.如权利要求1或2所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤2.6,注意力机制模块构建过程为:步骤2.6.1:将粗糙的特征Fcoarse分别经max‑pooling和average‑pooling操作生成Fmax和Favg;
步骤2.6.2:Fmax和Favg分别经过一个单层隐含层的多层感知器来减少参数;
步骤2.6.3:在多层感知器之后,合并Fmax和Favg,并通过sigmoid函数得到通道注意图FM,公式如下:
FM=(σ(W1(W0(Favg))+W1(W0(Fmax))))⊙Fcoarse,其中σ代表sigmoid函数,W1和W0是多层感知器的参数,⊙代表逐元素相乘;
步骤2.6.4:FM通过max‑pooling层和average‑pooling层,然后进行卷积核为7*7的卷积运算;
步骤2.6.5:通过sigmoid函数得到空间注意图Fs;
步骤2.6.6:然后利用空间注意图Fs逐元素相乘通道特征图FM,得到最后的Ffine,公式如下:
7×7
Ffine=σ(f ([AvgPool(F);MaxPool(F)]))⊙FM =Fs⊙FM
7×7
其中f 代表卷积核为7*7的卷积操作。
6.如权利要求1或2所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤2.7,空间金字塔池化模块构建过程为:步骤2.7.1:将得到的精细的特征图Ffine分别输入到有4*4,2*2,1*1个bins金字塔池化层;
步骤2.7.2:在每个有n*n个bins的金字塔池化层中,Ffine通过各自的池化作用分别得到
512*n*n大小一维向量,其中池化窗口大小和步长公式如下:其中,其中n代表bins的宽和高,n∈[1,2,4];H,W分别代表特征图的高和宽;sizew和sizeh分别代表池化窗口大小;Sw和Sh分别代表池化窗口在特征图的宽和高上移动的步长;
和 分表代表向下取整和向上取整;
步骤2.7.3:拼接输出的一维向量,得到512*21大小的一维向量Vimage。