欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019106932835
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述方法包括以下步骤:

步骤一,对X光片图像进行预处理,提取图像中手腕骨部位;

步骤二,构建卷积神经网络提取图像特征,构建卷积神经网络的过程为:步骤2.1:输入步骤一处理后的一组手骨X光片;

步骤2.2:先经过7*7大小的卷积操作,随后进行batch normalization,Relu激活函数操作;

步骤2.3:经过MaxPooling操作,提取主要特征;

步骤2.4:提取的特征经过残差卷积模块,该模块包括2组3*3的卷积操作和batch normalization;

步骤2.5:重复步骤2.4三次,得到X光片粗糙的特征Fcoarse;

步骤2.6:将Fcoarse输入到注意力机制模块中,得到精细的特征Ffine;

步骤2.7:将Ffine输入到空间金字塔池化模块中,得到固定的512*21大小的一维向量Vimage;

步骤三,构建文本特征提取模型;

步骤四,构建融合层,合并图像特征和文本特征;

步骤五,模型训练,充分收敛后,保存并导出模型结构及权重参数。

2.如权利要求1所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤一中,对手骨X光片预处理过程为:步骤1.1:图像二值化;

步骤1.2:腐蚀和膨胀,填补手骨区域的黑色区域;

步骤1.3:轮廓检测,提取手腕骨部位轮廓;

步骤1.4:自定义轮廓长度阈值,去除手腕骨腕部多余的信息。

3.如权利要求1或2所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤三中,构建文本特征提取网络的过程为:步骤3.1:输入步骤2.1手骨X光片所对应的文本信息;

步骤3.2:经过有N个隐藏神经单元的全连接层,N代表文本信息的个数,全连接层后接一层Batch Normalization和ReLU激活函数;

步骤3.3:重复两次步骤3.2,得到文本特征Vtext。

4.如权利要求3所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤四中,构建特征融合层:步骤4.1:步骤2.7所得的一维向量Vimage经过一层含有N个隐藏神经单元的全连接层,得到压缩后的一维特征V′image;

步骤4.2:将V′image和步骤3.3得到的文本特征Vtext拼接,得到2*N大小的Vfusion;

步骤4.3:经过有2*N个隐藏神经单元的全连接层,然后接一层Batch Normalization和ReLU激活函数,得到最后的骨龄评估值。

5.如权利要求1或2所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤2.6,注意力机制模块构建过程为:步骤2.6.1:将粗糙的特征Fcoarse分别经max‑pooling和average‑pooling操作生成Fmax和Favg;

步骤2.6.2:Fmax和Favg分别经过一个单层隐含层的多层感知器来减少参数;

步骤2.6.3:在多层感知器之后,合并Fmax和Favg,并通过sigmoid函数得到通道注意图FM,公式如下:

FM=(σ(W1(W0(Favg))+W1(W0(Fmax))))⊙Fcoarse,其中σ代表sigmoid函数,W1和W0是多层感知器的参数,⊙代表逐元素相乘;

步骤2.6.4:FM通过max‑pooling层和average‑pooling层,然后进行卷积核为7*7的卷积运算;

步骤2.6.5:通过sigmoid函数得到空间注意图Fs;

步骤2.6.6:然后利用空间注意图Fs逐元素相乘通道特征图FM,得到最后的Ffine,公式如下:

7×7

Ffine=σ(f ([AvgPool(F);MaxPool(F)]))⊙FM =Fs⊙FM

7×7

其中f 代表卷积核为7*7的卷积操作。

6.如权利要求1或2所述的基于异构数据融合网络的手骨X光片骨龄评估方法,其特征在于,所述步骤2.7,空间金字塔池化模块构建过程为:步骤2.7.1:将得到的精细的特征图Ffine分别输入到有4*4,2*2,1*1个bins金字塔池化层;

步骤2.7.2:在每个有n*n个bins的金字塔池化层中,Ffine通过各自的池化作用分别得到

512*n*n大小一维向量,其中池化窗口大小和步长公式如下:其中,其中n代表bins的宽和高,n∈[1,2,4];H,W分别代表特征图的高和宽;sizew和sizeh分别代表池化窗口大小;Sw和Sh分别代表池化窗口在特征图的宽和高上移动的步长;

和 分表代表向下取整和向上取整;

步骤2.7.3:拼接输出的一维向量,得到512*21大小的一维向量Vimage。