欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024118459523
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的腰骶部定位与关键点检测系统,其特征在于,包括:

腰椎检测装置(1),被设置为对腰椎X 射线图像进行卷积操作以提取多个具有不同层次特征的特征图,并通过卷积操作与特征金字塔池化相结合的方式将这些特征图融合为展现不同尺度目标的特征信息的若干个分辨率图像,然后分别对各所述分辨率图像进行腰椎骶骨区域定位,获得各自对应的腰椎骶骨区域图像;

后处理装置(2),被设置为对由所述腰椎检测装置(1)所获所有的腰椎骶骨区域图像进行关于腰椎骶骨区域定位的置信度筛选和非极大值抑制处理,然后进行图像融合以获得融合图像;

关键点检测装置(3),被设置为基于所述融合图像中所展示的腰椎骶骨区域的上下文信息提取椎体语义特征,并通过三个独立的解耦映射将所述椎体语义特征进行解耦,以提取椎体的中心点信息、中心点偏移量信息和角点偏移量信息,并获得椎骨间的角点坐标;

所述后处理装置(2)与所述腰椎检测装置(1)通信,所述关键点检测装置(3)与所述后处理装置(2)通信;

所述关键点检测装置(3)包括:

高分辨率网络模块(31),被设置为对所述融合图像进行特征编码以获得特征图一、特征图二、特征图三和特征图四,并且,所述融合图像、所述特征图一、所述特征图二、所述特征图三和所述特征图四的图像大小依次为公比小于1的等比数列中的前五项;

解码器(32),被设置为对所述特征图一、所述特征图二、所述特征图三和所述特征图四进行上采样与特征融合以提取所述椎体语义特征;

映射模块(33),被设置为通过三个独立的解耦映射将所述椎体语义特征进行解耦,以提取椎体的中心点信息、中心点偏移量信息和角点偏移量信息;

计算模块(34),被设置为基于所述中心点信息、所述中心点偏移量信息和所述角点偏移量信息获得椎骨间的角点坐标;

所述高分辨率网络模块(31)与所述后处理装置(2)通信,所述解码器(32)与所述高分辨率网络模块(31)通信,所述映射模块(33)与所述解码器(32)通信,所述计算模块(34)与所述映射模块(33)通信。

2.根据权利要求1所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,所述腰椎检测装置(1)包括:主干网络模块(11),被设置为对所述腰椎X 射线图像进行卷积操作以提取多个具有不同层次特征的特征图;

颈部网络模块(12),被设置为通过卷积操作与特征金字塔池化相结合的方式将由所述主干网络模块(11)所获的所有特征图融合为展现不同尺度目标的特征信息的若干个所述分辨率图像;

检测头模块(13),被设置为分别对各所述分辨率图像进行腰椎骶骨区域定位,获得各自对应的腰椎骶骨区域图像;

所述颈部网络模块(12)与所述主干网络模块(11)通信,所述检测头模块(13)与所述颈部网络模块(12)通信,所述关键点检测装置(3)与所述检测头模块(13)通信。

3.根据权利要求2所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,所述高分辨率网络模块(31)为具有四个网络支路的网络结构,其中,第一网络支路用于获得所述特征图一,第二网络支路用于获得所述特征图二,第三网络支路用于获得所述特征图三,第四网络支路用于获得所述特征图四,各网络支路的输出端均与所述解码器(32)通信。

4.根据权利要求3所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,所述解码器(32)为由三个子解码器串联形成的通信网络结构,各所述子解码器均包含一个上采样模块(321)、一个多尺度注意力模块(322)和一个卷积整流模块(323);

在各所述子解码器中,所述多尺度注意力模块(322)与所述上采样模块(321)通信,所述卷积整流模块(323)与所述多尺度注意力模块(322)通信;

在位于首位的所述子解码器中,所述上采样模块(321)与所述高分辨率网络模块(31)中第四网络支路的输出端通信,所述多尺度注意力模块(322)还与所述高分辨率网络模块(31)中第三网络支路的输出端通信,所述上采样模块(321)被设置为对所述特征图四进行上采样操作以获得第一上采样图像,所述多尺度注意力模块(322)被设置为以通道拼接与池化结合的特征融合方式将所述第一上采样图像与所述特征图三进行特征融合以获得第一融合图像,所述卷积整流模块(323)被设置为对所述第一融合图像依次进行卷积处理和线性整流函数的映射处理以获得第一语义特征图像;

在位于中间的所述子解码器中,所述上采样模块(321)与位于首位的所述子解码器中所述卷积整流模块(323)通信,所述多尺度注意力模块(322)还与所述高分辨率网络模块(31)中第二网络支路的输出端通信,所述上采样模块(321)被设置为对所述第一语义特征图像进行上采样操作以获得第二上采样图像,所述多尺度注意力模块(322)被设置为以通道拼接与池化结合的特征融合方式将所述第二上采样图像与所述特征图二进行特征融合以获得第二融合图像,所述卷积整流模块(323)被设置为对所述第二融合图像依次进行卷积处理和线性整流函数的映射处理以获得第二语义特征图像;

在位于末尾的所述子解码器中,所述上采样模块(321)与位于中间的所述子解码器中所述卷积整流模块(323)通信,所述多尺度注意力模块(322)还与所述高分辨率网络模块(31)中第一网络支路的输出端通信,所述映射模块(33)与所述卷积整流模块(323)通信,所述上采样模块(321)被设置为对所述第二语义特征图像进行上采样操作以获得第三上采样图像,所述多尺度注意力模块(322)被设置为以通道拼接与池化结合的特征融合方式将所述第三上采样图像与所述特征图一进行特征融合以获得第三融合图像,所述卷积整流模块(323)被设置为对所述第三融合图像依次进行卷积处理和线性整流函数的映射处理以获得所述椎体语义特征。

5.根据权利要求4所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,各所述多尺度注意力模块(322)均包括第一通道拼接单元(322-1)、最大池化单元(322-2)、平均池化单元(322-3)、第一全连接层单元(322-4)、第二全连接层单元(322-5)、像素求和单元(322-6)、第一点乘单元(322-7)、第二点乘单元(322-8)、第一空间注意力增强单元(322-9)、第二空间注意力增强单元(322-10)和第二通道拼接单元(322-11);

所述第一通道拼接单元(322-1)分别与所述上采样模块(321)、所述高分辨率网络模块(31)中一个网络支路的输出端通信,所述最大池化单元(322-2)与所述第一通道拼接单元(322-1)通信,所述第一全连接层单元(322-4)与所述最大池化单元(322-2)通信;

所述平均池化单元(322-3)与所述第一通道拼接单元(322-1)通信,所述第二全连接层单元(322-5)与所述平均池化单元(322-3)通信;

所述像素求和单元(322-6)分别与所述第一全连接层单元(322-4)、所述第二全连接层单元(322-5)通信,所述第一点乘单元(322-7)分别与所述像素求和单元(322-6)、所述高分辨率网络模块(31)中一个网络支路的输出端通信,所述第二点乘单元(322-8)分别与所述像素求和单元(322-6)、所述上采样模块(321)通信;

所述第一空间注意力增强单元(322-9)与所述第一点乘单元(322-7)通信,所述第二空间注意力增强单元(322-10)与所述第二点乘单元(322-8)通信,所述第二通道拼接单元(322-11)分别与所述第一空间注意力增强单元(322-9)、所述第二空间注意力增强单元(322-10)通信;

所述卷积整流模块(323)与所述第二通道拼接单元(322-11)通信。

6.根据权利要求5所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,各所述多尺度注意力模块(322)均被设置为按如下方式运行:所述第一通道拼接单元(322-1)将所述第一上采样图像与所述特征图三或将所述第二上采样图像与所述特征图二或将所述第三上采样图像与所述特征图一进行通道拼接操作以获得第一拼接图像,并将所述第一拼接图像分别传至所述最大池化单元(322-2)和所述平均池化单元(322-3);

所述最大池化单元(322-2)对所述第一拼接图像进行最大池化操作以获得第一池化图像,并将所述第一池化图像传至所述第一全连接层单元(322-4);

所述第一全连接层单元(322-4)对所述第一池化图像进行全连接层的映射处理以获得第一连接图像,并将所述第一连接图像传至所述像素求和单元(322-6);

所述平均池化单元(322-3)对所述第一拼接图像进行平均池化操作以获得第二池化图像,并将所述第二池化图像传至所述第二全连接层单元(322-5);

所述第二全连接层单元(322-5)对所述第二池化图像进行全连接层的映射处理以获得第二连接图像,并将所述第二连接图像传至所述像素求和单元(322-6);

所述像素求和单元(322-6)将所述第一连接图像与所述第二连接图像进行像素求和运算,然后以S型激活函数对求和运算结果进行激活处理以获得第一和图像,并将所述第一和图像分别传至所述第一点乘单元(322-7)和所述第二点乘单元(322-8);

所述第一点乘单元(322-7)将所述第一和图像与所述特征图三或与所述特征图二或与所述特征图一进行点乘运算以获得第一积图像,并将所述第一积图像传至所述第一空间注意力增强单元(322-9);

所述第一空间注意力增强单元(322-9)通过通道平均池化与最大池化的结合方式对所述第一积图像进行特征增强处理以获得第一增强图像,并将所述第一增强图像传至所述第二通道拼接单元(322-11);

所述第二点乘单元(322-8)将所述第一和图像与所述第一上采样图像或与所述第二上采样图像或与所述第三上采样图像进行点乘运算以获得第二积图像,并将所述第二积图像传至所述第二空间注意力增强单元(322-10);

所述第二空间注意力增强单元(322-10)通过通道平均池化与最大池化的结合方式对所述第二积图像进行特征增强处理以获得第二增强图像,并将所述第二增强图像传至所述第二通道拼接单元(322-11);

所述第二通道拼接单元(322-11)将所述第一增强图像与所述第二增强图像进行通道拼接操作以获得所述第一融合图像或获得所述第二融合图像或获得所述第三融合图像,并传至所述卷积整流模块(323)。

7.根据权利要求6所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,所述第一空间注意力增强单元(322-9)被设置为执行如下步骤;

A1:对所述第一积图像进行通道平均池化操作以获得第一图像,同时对所述第一积图像进行通道最大池化操作以获得第二图像;

A2:将所述第一图像与所述第二图像进行通道拼接操作以获得第三图像;

A3:将所述第三图像进行若干次卷积操作以获得第四图像;

A4:将所述第四图像与所述第一积图像进行点乘运算以获得所述第一增强图像。

8.根据权利要求2-7任意一项所述的基于深度学习的腰骶部定位与关键点检测系统,其特征在于,所述映射模块(33)所使用的三个独立的解耦映射为第一解耦映射、第二解耦映射和第三解耦映射;

所述第一解耦映射的数学式如下:

,

式中,

代表所述椎体语义特征;

代表第一中间结果,为对所述椎体语义特征进行卷积核大小为3×3的卷积操作后所获的结果;

代表第二中间结果,为对所述第一中间结果进行卷积核大小为1×1的卷积操作后所获的结果;

代表所述中心点信息,为通过S型激活函数对所述第二中间结果映射后所获的结果;

所述第二解耦映射的数学式如下:

,

式中,

代表所述中心点偏移量信息;

所述第三解耦映射的数学式如下:

,

式中,

代表第三中间结果,为对所述椎体语义特征进行卷积核大小为7×7的卷积操作后所获的结果;

代表所述角点偏移量信息,为对所述第三中间结果进行卷积核大小为7×7的卷积操作后所获的结果。

9.一种基于深度学习的腰骶部定位与关键点检测方法,其特征在于,适用于权利要求1-8任意一项所述的基于深度学习的腰骶部定位与关键点检测系统,包括如下步骤:S1:通过腰椎检测装置(1)对腰椎X 射线图像进行卷积操作以提取多个具有不同层次特征的特征图;

S2:通过所述腰椎检测装置(1)以卷积操作与特征金字塔池化相结合的方式将由所述步骤S1所获的所有特征图融合为展现不同尺度目标的特征信息的若干个分辨率图像;

S3:通过所述腰椎检测装置(1)分别对各所述分辨率图像进行腰椎骶骨区域定位,获得各自对应的腰椎骶骨区域图像;

S4:通过后处理装置(2)对由所述步骤S3所获所有的腰椎骶骨区域图像进行置信度筛选和非极大值抑制处理,然后进行图像融合以获得融合图像;

S5:通过关键点检测装置(3)从所述融合图像中提取椎体语义特征,并通过三个独立的解耦映射将所述椎体语义特征进行解耦,以提取椎体的中心点信息、中心点偏移量信息和角点偏移量信息;

S6:通过所述关键点检测装置(3)根据椎体的中心点信息、中心点偏移量信息和角点偏移量信息获得椎骨间的角点坐标。