欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025109703250
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:所述基于神经网络结构搜索的OCT内外指纹重建方法包括:

采集指纹OCT图像数据集,并进行预处理;

构建内外指纹提取网络,且所述内外指纹提取网络包括神经架构搜索网络和轮廓回归模块;

采用预处理后的指纹OCT图像数据集对内外指纹提取网络进行训练,其中每轮训练之前,首先确定神经架构搜索网络的结构,再对整个内外指纹提取网络进行训练,往复迭代,直到损失函数收敛,得到训练好的内外指纹提取网络,将确定好的神经架构搜索网络的多项输出均经过轮廓回归模块,轮廓回归模块的输出进行融合得到内外指纹提取网络的输出;

获取预处理后的待检测指纹的多张OCT图像,分别输入至训练好的内外指纹提取网络,得到各自的角质层轮廓与活表皮连接层轮廓,并基于多个角质层与活表皮连接层轮廓进行计算得到待检测的OCT图像对应的内外指纹;

所述神经架构搜索网络包括依次连接的第一普通采样单元、第二普通采样单元和第三普通采样单元,以及依次连接的第四普通采样单元和第五普通采样单元,以及第六普通采样单元,以及依次连接的第一上采样单元、第二上采样单元和第三上采样单元,以及依次连接的第四上采样单元和第五上采样单元,以及第六上采样单元,以及依次连接的第一下采样单元、第二下采样单元和第三下采样单元,以及依次连接的第四下采样单元和第五下采样单元,以及第六下采样单元;

其中,将第三普通采样单元和第三上采样单元的输出特征进行加权求和得到第四特征,将第二上采样单元、第六下采样单元和第五普通采样单元的输出特征进行加权求和得到第七特征,将第一上采样单元、第六普通采样单元和第五下采样单元的输出特征进行加权求和得到第九特征;

在轮廓回归模块中,神经架构搜索网络的输入与该第四特征相加得到第二十三特征,第一下采样单元的输出特征与该第七特征相加得到第二十四特征,第二下采样单元的输出特征与该第九特征相加得到第二十五特征,神经架构搜索网络的输入、第一下采样单元的输出特征、第二下采样单元的输出特征、第二十三特征、第二十四特征和第二十五特征均依次经过第二卷积层和多头注意力机制组进行处理。

2.如权利要求1所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:训练过程中确定神经架构搜索网络的结构之前,各普通采样单元包括多个候选操作,且分别为:普通卷积、空洞卷积、动态卷积、深度可分离卷积和跳跃连接,各上采样单元包括多个候选操作,且分别为:上采样卷积、上采样动态卷积、上采样深度可分离卷积、上采样空洞卷积和双线性插值,各下采样单元包括多个候选操作,且分别为:最大池化、平均池化、下采样卷积、下采样动态卷积、下采样空洞卷积和下采样深度可分离卷积;

第一轮训练之前,对于每个采样单元,对其每个候选操作随机初始化参数和权重,各采样单元用有向无环图表示,且有向无环图中包含两个输入特征和四个中间特征,以及多个指向边,在没有确定采样单元之前,每个指向边上包含多个候选操作,基于各候选操作的参数通过预设方法确定有向无环图中两个输入特征和四个中间特征之间的指向边以及指向边上的具体候选操作得到确定好的采样单元,其中对于每个中间特征,包含两条指向该中间特征的指向边,对于普通采样单元中的每个中间特征,两条指向中间特征的指向边上的候选操作即为普通采样单元的所有候选操作,对于上采样单元中的每个中间特征,其中一条指向中间特征的指向边上的候选操作即为上采样单元的所有候选操作,另一条指向中间特征的指向边上的候选操作即为普通采样单元的所有候选操作,对于下采样单元中的每个中间特征,其中一条指向中间特征的指向边上的候选操作即为下采样单元的所有候选操作,另一条指向中间特征的指向边上的候选操作即为普通采样单元的所有候选操作;

最后将确定好的采样单元的四个中间特征相加后的结果作为各采样单元的输出;

对整个内外指纹提取网络进行一轮训练,并计算损失函数,基于梯度下降法更新内外指纹提取网络的参数,且各候选操作的参数和权重跟随者内外指纹提取网络的参数一起更新;

往复迭代,直到损失函数收敛,得到最终确定的神经架构搜索网络,以及得到训练好的内外指纹提取网络。

3.如权利要求2所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:在神经架构搜索网络中,将神经架构搜索网络的输入经过第一卷积层得到第一特征,将第一特征和神经架构搜索网络的输入作为第一普通采样单元的两个输入特征,得到第一普通采样单元的输出特征,且第一特征和神经架构搜索网络的输入也作为第一下采样单元的两个输入特征,得到第一下采样单元的输出特征,将神经架构搜索网络的输入与第一下采样单元的输出特征作为第六上采样单元的两个输入特征,得到第六上采样单元的输出特征,将第六上采样单元的输出特征与第一普通采样单元的输出特征进行加权求和得到第二特征,将第二特征与神经架构搜索网络的输入作为第二普通采样单元的两个输入特征,得到第二普通采样单元的输出特征,将第二特征与第一下采样单元的输出特征作为第四下采样单元的两个输入特征,得到第四下采样单元的输出,将第一下采样单元的输出特征经过第一卷积层得到第五特征,将第五特征与第一下采样单元的输出特征作为第四普通采样单元的两个输入特征,得到第四普通采样单元的输出特征,将第五特征与第一下采样单元的输出特征作为第二下采样单元的两个输入特征,得到第二下采样单元的输出特征,将第二下采样单元的输出特征与第一下采样单元的输出特征作为第四上采样单元的两个输入特征,得到第四上采样单元的输出特征,将第四上采样单元的输出特征、第四普通采样单元的输出特征与第四下采样单元的输出特征进行加权求和得到第六特征,将第六特征和第二特征作为第五上采样单元的两个输入特征,得到第五上采样单元的输出特征,将第二普通采样单元的输出特征与第五上采样单元的输出特征进行加权求和得到第三特征,将第六特征与第一下采样单元的输出特征作为第五普通采样单元的两个输入特征,得到第五普通采样单元的输出特征,将第三特征与第六特征作为第六下采样单元的两个输入特征,得到第六下采样单元的输出特征,将第六特征与第二下采样单元的输出特征作为第五下采样单元的两个输入特征,得到第五下采样单元的输出特征,将第二下采样单元的输出特征经过第一卷积层得到第八特征,将第八特征与第二下采样单元的输出特征作为第六普通采样单元的两个输入特征,得到第六普通采样单元的输出特征,将第八特征与第二下采样单元的输出特征作为第三下采样单元的两个输入特征,得到第三下采样单元的输出特征,将第三下采样单元的输出特征与第二下采样单元的输出特征作为第一上采样单元的两个输入特征,得到第一上采样单元的输出特征,将第九特征和第六特征作为第二上采样单元的两个输入特征,得到第二上采样单元的输出特征,将第七特征与第三特征作为第三上采样单元的两个输出特征,得到第三上采样单元的输出特征,将第三特征与第二特征作为第三普通采样单元的两个输入特征,得到第三普通采样单元的输出特征;

其中加权求和中的权重为各确定的采样单元的权重。

4.如权利要求3所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:所述内外指纹提取网络的输入经过下采样层得到的特征作为神经架构搜索网络的输入;

所述神经架构搜索网络的输入、第一下采样单元的输出特征、第二下采样单元的输出特征、第二十三特征、第二十四特征和第二十五特征均依次经过第二卷积层和多头注意力机制组进行处理后,分别得到依次与神经架构搜索网络的输入、第一下采样单元的输出特征、第二下采样单元的输出特征、第二十三特征、第二十四特征和第二十五特征对应的第十特征、第十一特征、第十二特征、第十三特征、第十四特征和第十五特征;

其中第十特征与第十三特征进行相加得到第十六特征,第十一特征与第十四特征进行相加得到第十七特征,第十二特征与第十五特征进行相加得到第十八特征,所述第十六特征、第十七特征和第十八特征均依次经过全连接层和激活层,分别得到依次与第十六特征、第十七特征和第十八特征对应的第十九特征、第二十特征和第二十一特征,所述第二十一特征经过上采样层后与第二十特征进行相加得到第一相加结果,再将第一相加结果与预设值相乘得到第二十二特征,所述第二十二特征经过上采样层后与第十九特征相加得到第二相加结果,再将第二相加结果与预设值相乘得到内外指纹提取网络的输出,且内外指纹提取网络的输出为角质层轮廓和活表皮连接层轮廓,其中角质层轮廓包含角质层上表面轮廓和角质层下表面轮廓,且各轮廓的每个像素点均带有深度值。

5.如权利要求4所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:所述多头注意力机制组包括依次连接的四个多头注意力机制模块,各所述多头注意力机制模块包括依次连接的第一层归一化层、多头注意力机制层、第二层归一化层和线性层,其中所述多头注意力机制模块的输入与多头注意力机制层的输出进行相加,得到相加特征,且该相加特征作为第二层归一化层的输入,并且线性层的输出与相加特征进行相加得到多头注意力机制模块的输出。

6.如权利要求4所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:预处理过程中,对OCT图像采用预设矩形框对角质层的区域和活表皮连接层的区域进行截取;

在训练过程中,对其中的OCT图像的角质层上表面轮廓、角质层下表面轮廓和活表皮连接层轮廓进行标注,以及角质层的区域和活表皮连接层的区域进行标注;

每轮训练后,将神经架构搜索网络中的第四特征再经过第三卷积层和上采样层,得到包含角质层的区域和活表皮连接层的区域的预测图像;

训练过程中采样的损失函数的计算公式如下:

;

其中,

;

;

其中,表示角质层的区域和活表皮连接层的区域计算出的损失,表示的权重,表示角质层上表面轮廓、角质层下表面轮廓和活表皮连接层轮廓计算出的损失,表示的权重,表示采集指纹OCT图像数据集中一张OCT图像上的全部像素点,表示预测图像上的角质层的区域、活表皮连接层的区域或背景区域,且时表示角质层的区域,时表示活表皮连接层的区域,时表示背景区域,表示上的第个像素点,和别表示在种类为的区域上第个像素点的预测像素值和真实像素值,表示预测角质层上表面轮廓、预测角质层下表面轮廓或预测活表皮连接层轮廓上像素点的数量,表示预测角质层上表面轮廓、预测角质层下表面轮廓或预测活表皮连接层轮廓,且时表示预测角质层上表面轮廓,时表示预测角质层下表面轮廓,时表示预测活表皮连接层轮廓,和分别表示在种类为的轮廓上第个像素点预测的轮廓深度值和真实的轮廓深度值。

7.如权利要求4所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:所述基于多个角质层与活表皮连接层轮廓进行计算得到待检测的OCT图像对应的内外指纹过程中,其中内指纹包括深度内指纹和灰度内指纹,外指纹包括深度外指纹和灰度外指纹;

待检测指纹的OCT图像为张,且每张OCT图像的尺寸为,表示宽,表示高,每张OCT图像经过训练好的内外指纹提取网络后,得到角质层上表面轮廓、角质层下表面轮廓和活表皮连接层轮廓,且各轮廓的每个像素点均带有深度值,各轮廓的宽度为,即各轮廓上有个深度值,并将各轮廓映射到对应的待检测指纹的OCT图像上;

对于每一张待检测指纹的OCT图像对应的角质层上表面轮廓、角质层下表面轮廓和活表皮连接层轮廓,将角质层下表面轮廓与角质层上表面轮廓对应位置像素点上的深度值对应相减,得到第一结果,再将活表皮连接层轮廓与角质层上表面轮廓对应位置像素点上的深度值对应相减,得到第二结果;

对于张待检测指纹的OCT图像对应的角质层上表面轮廓、角质层下表面轮廓和活表皮连接层轮廓,将个第一结果进行拼接后保存为图片得到深度外指纹,将个第二结果进行拼接后保存为图片得到深度内指纹;

对于映射后的每一张待检测指纹的OCT图像上的角质层上表面轮廓,获取该角质层上表面轮廓上所有像素点的灰度值,并将所有像素点的灰度值与预设倍数的平均第一结果相加得到第三结果,其中平均第一结果即为个第一结果的平均值;

对于映射后的张待检测指纹的OCT图像,进而得到个第三结果,并将个第三结果进行拼接后保存为图片得到灰度外指纹;

对于映射后的每一张待检测指纹的OCT图像上的活表皮连接层轮廓,获取该活表皮连接层轮廓上每个像素点最近的波峰位置像素点和波谷位置像素点,并取波峰位置像素点和波谷位置像素点对应深度值的平均值,并且获取该平均值所在像素点的灰度值,称作为第一灰度值,对于映射后的每一张待检测指纹的OCT图像上的活表皮连接层轮廓上的所有像素点对应的第一灰度值作为第四结果;

对于映射后的张待检测指纹的OCT图像,进而得到个第四结果,将个第四结果进行拼接后保存为图片得到灰度内指纹。

8.如权利要求2所述的基于神经网络结构搜索的OCT内外指纹重建方法,其特征在于:所述上采样卷积包括依次连接的普通卷积和上采样操作,所述上采样动态卷积包括依次连接的动态卷积和上采样操作,所述上采样深度可分离卷积包括依次连接的深度可分离卷积和上采样操作,所述上采样空洞卷积包括依次连接的空洞卷积和上采样操作,所述下采样卷积包括依次连接的普通卷积和下采样操作,所述下采样动态卷积包括依次连接的动态卷积和下采样操作,所述下采样空洞卷积包括依次连接的空洞卷积和下采样操作,所述下采样深度可分离卷积包括依次连接的深度可分离卷积和下采样操作。