欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019100482810
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-03-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,包括以下步骤:

步骤1、利用多通道深度模型提取多模态医学图像的深度特征,并对深度特征标准化;

步骤2、根据步骤1提取的多个不同模态数据的特征构建多个近邻图矩阵,用以保持数据的局部流形结构,并构建一个标签矩阵;

步骤3、将构建的多个近邻图矩阵以及标签矩阵融合成一个图矩阵;

步骤4、利用模态自适应的受限玻尔兹曼机RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码;

步骤5、通过深度通道和模态自适应的RBM将待检索的模态数据生成哈希码;

步骤6、使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序,将距离最小的n组最近似多模态医学图像返回给用户。

2.根据权利要求1所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤1利用多通道深度模型提取多模态医学图像的深度特征,具体包括:首先根据数据组模态数量自适应确定深度模型的通道数量,再将多个深度通道连接到同一分类层作为一个整体,训练整体的多通道深度模型,训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征。

3.根据权利要求2所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤1在提取到多模态医学图像组的深度特征后,将深度特征采用Z-score标准化,量化后的特征将服从标准正态分布,特征的量化公式如下:其中μ表示某一个特征的均值,δ表示特征的标准差。

4.根据权利要求3所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤2近邻图构建中,将图视为n个向量的集合来描述数据的几何结构,其中每一个向量对应一个数据点,每一个向量的长度为ρ,表示ρ个与该数据点最近邻的数据点,多个近邻矩阵矩阵 的距离度量方式采用高斯热核距离或曼哈顿距离或切比雪夫距离,m表示多模态医学图像的模态数量,i表示某一模态数据构建的近邻矩阵的第i行,j表示第j列; 表示某一模态数据构建的近邻矩阵,根据深度特征构建完近邻图后,根据标签构建一个额外的标签近邻图。

5.根据权利要求4所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤3根据标签构建一个额外的标签近邻图,具体包括:根据标签构建一个n维矩阵,构建规则如下:xi表示多模态数据的一组图像,xj表示其余n-1组图像中的任意一组,a表示xi与xj相同标签的个数,构建完m+1个矩阵后,采用如下公式进行多图正则化矩阵融合:其中μ表示融合时每个矩阵的权重系数,Ψ表示融合后的矩阵。

6.根据权利要求5所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤4利用模态自适应的RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码,具体包括:模态自适应的RBM由原始高斯RBM改进而来,可视层数量根据数据模态数量自适应确定,都连接到同一隐层;同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵,使得生成的隐层哈希码能保持数据的局部近邻结构;改进的RBM模型的能量函数如下所示:其中U表示整个改进的RBM模型的能量函数;fi1,fi2,...,fiM代表第1,2,…,M个可视层的某一节点,hi表示隐层的某一结点,M表示模态数量,N1,N2分别表示各个可视层的节点数量和隐层节点数量;θ表示RBM的参数集合,包含可视层的偏置a,隐层的偏置b,以及可视层和隐层之间的连接权w, 表示第m个可视层第r个节点的偏置,bs表示隐层第s个节点的偏置, 表示第m个可视层的第r个节点与隐层第s个节点的连接权; 表示第m个可视层的第r个节点,hs表示隐层第s个节点; 表示第m个可视层第r个节点的正态分布标准差,为正值,一般不作训练,取定值1;λ表示正则化权重参数,其控制隐层表示的平滑性,his表示隐层的第s个节点,hjs表示根据融合矩阵得出的与his近邻的节点,m表示第m个可视层,r表示某一可视层的第r个节点、s表示隐层第s个节点。

7.根据权利要求6所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤5通过深度通道和模态自适应的的RBM将待检索的某一模态数据生成哈希码,具体包括:将待检索的某一模态的医学图像放入其训练时对应的该模态特征提取通道中,取卷积神经网络倒数第二层数值作为其特征值;根据训练时得到的相同模态数据的特征矩阵的均值μ和标准差δ标准化得到的特征值;将标准化的特征值作为训练完成的RBM可视层输入,注意对应训练时同模态的可视层,其他的可视层输入与特征值相同规格的零矩阵,与连接权做矩阵相乘后得到的结果取符号函数sign得到待检索数据的哈希码。

8.根据权利要求7所述的一种基于多图正则化深度哈希的多模态医学图像检索方法,其特征在于,所述步骤6使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序,将距离最小的n组最近似多模态医学图像返回给用户,其中汉明距离度量公式如下:其中k表示哈希码的长度,hr(x)表示样本x的第r位哈希码,hr(y)表示样本y的第r位哈希码的, 表示异或运算。