欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116208643
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于时频特征融合的手术阶段识别方法,其特征在于,所述方法包括以下步骤:S100:收集外科腹腔镜手术视频,并按照预设频率切割,获取多张连续的照片,将切割后的照片输入至训练好的Resnet网络中,提取有用的空间特征,得到数据集;

S200:构建TFRCDLFormer网络,该网络采用双分支结构,包括多级别频域特征模块、多尺度时域特征模块和多级别频域特征增强模块,其中,分支一为多级别频域特征模块,分支二为多尺度时域特征模块;

S300:多级别频域特征模块用于接收数据集中的图片,进行多层空洞卷积RCDL处理,再进行离散小波变换得到包含高频和低频的多级别频率信息,分别对高频和低频信息进行预设的对应处理后进行离散小波逆变换得到多级别频域特征,其中,RCDL为残差因果空洞时间卷积层;S300包括:S310:利用多层RCDL获取数据集中的图片的频率信息;S310具体为:其中,代表第层频率特征,*表示卷积计算,是1D空洞卷积核,是1x1卷积的权重,是偏执向量;

S320:对频率信息进行三次离散小波变换,基于高通滤波器和低通滤波器得到低频特征和高频特征;

S330:低频特征采用RCDL进行处理,然后采用Transformer的注意力机制进行处理,高频特征采用多层RCDL进行处理;S330中低频特征采用RCDL进行处理,然后采用Transformer的注意力机制进行处理,具体为:其中,和分别代表多层RCDL模块和Transformer模块;

S340:将处理后的多级别频率特征进行小波逆变换;

S400:多尺度时域特征模块用于接收数据集中的图片,进行RCDL处理,再进行平均池化、上采样处理,得到不同尺度的特征信息,对每一种尺度的特征信息采用RCDL和Transformer的方法进行综合处理,得到多尺度时域特征;S400包括:S410:利用多层RCDL获取输入特征的时域信息,通过平均池化的方式对序列进行下采样,获得四种不同尺度的特征信息;

S420:采用RCDL+上采样的方法进行特征上采样;

S430:上采样后的每一种尺度的特征都采用RCDL+Transformer的方法进行处理,即先对特征进行多层的RCDL处理,然后采用Transformer的注意力机制进行处理,先将特征增加位置编码,再利用本层的特征生成查询向量Q矩阵, 关键向量K矩阵, 数值向量V矩阵,进行注意力计算;

S440:采用Transformer的注意力机制进行从上至下的跨尺度,将不同尺度的特征信息逐级地传递到最底层,即先对高层特征进行上采样,将输入特征进行位置编码,接着利用高层的特征生成K和V,底层的特征生成Q,最后进行注意力计算,得到多尺度时域特征;

S500:多级别频域特征增强模块用于将多级别频域特征和多尺度时域特征通过全连接进行特征融合,再按照S300中的方法进行频域特征增强,通过全连接层后输出得到手术阶段识别预测结果;

S600:基于预设的损失函数对TFRCDLFormer网络进行训练,达到预设的训练终止时,得到训练好的TFRCDLFormer网络,完成实时手术阶段识别。

2.根据权利要求1所述的方法,其特征在于,S320中离散小波变换具体为:其中是低通滤波器系数,是高通滤波器系数,为分解后的近似系数,为分解后的细节系数,为输入的频率信息,表示离散输入信号的长度,横坐标位置。

3.根据权利要求2所述的方法,其特征在于,S340中小波逆变换具体为:其中,和是逆变换滤波器系数,为输出的频域特征。

4.根据权利要求3所述的方法,其特征在于,S420具体为:

其中,代表第2批次的第i层特征,,分别代表RCDL和上采样处理;

S440中注意力机制的计算公式具体为:

其中,是Q和K的列数,即向量维度。

5.根据权利要求4所述的方法,其特征在于,S500包括:

S510:将分支一和分支二的输出输入到多级别频域增强模块,多级别频域增强模块将两个输入进行拼接、全连接和正则化,并将特征维度增加到分支一和分支二的特征维度之和,得到融合后的特征;

S520:对特征进行三次离散小波变换方法,得到包含高频和低频的多级别频率信息,低频特征采用RCDL进行处理,然后采用Transformer的注意力机制进行处理,高频特征采用多层RCDL进行处理,对处理后的高频特征和低频特征进行离散小波逆变换,最后经过全连接层输出Tx7大小的预测结果,每一帧对应一个1x7的预测结果,其中概率最大的为最终预测结果,其中,T为视频图片的数量。

6.根据权利要求5所述的方法,其特征在于,S510具体为:

其中,分代表拼接、全连接层和正则化操作,代表融合的结果。

7.根据权利要求6所述的方法,其特征在于,预设的损失函数包括帧损失函数、段损失函数和平滑损失函数。