1.一种基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,包括:
S1:设计文本提示,所述文本提示包括标准化模板提示、可学习提示,并使用文本编码器分别提取出标准提示特征、可学习提示特征,将标准提示特征与可学习提示特征相加得到文本特征表示;
S2:获取腹腔手术视频帧图像,采用图像编码器提取腹腔手术视频帧图像的图像编码特征,并将图像编码特征经过瓶颈层输出三元组特征;基于设计的三元解耦注意力模块将图像编码特征解耦为器械特征、动作特征、目标组织特征;采用多头混合注意力机制融合三元组特征、器械特征、动作特征、目标组织特征,得到图像特征表示;
S3:采用多头交叉注意力机制融合文本特征表示与图像特征表示,得到文本增强后的图像特征;基于文本增强后的图像特征训练时间卷积网络,得到训练好的时间卷积网络;
S4:将待识别的腹腔手术视频帧图像经过步骤S2,得到对应的第二图像特征表示、第二器械特征;将第二图像特征表示输入至训练好的时间卷积网络,得到三元组分类结果;对第二器械特征进行前景提取,得到手术器械定位结果,可视化的手术器械定位结果为手术提供信息指导并用于检验三元组分类结果。
2.根据权利要求1所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,所述标准化模板提示设计为“一张{LABEL}腹腔镜图像”,并将腹腔手术视频帧图像数据集中每张腹腔手术视频帧图像的三元组标签填入{LABEL};将所有填写三元组标签后的标准化模板分别经过文本编码器,得到若干个标准提示特征;
所述可学习提示为包含16个随机初始化变量的可学习参数张量,将可学习提示经过文本编码器,得到可学习提示特征;
将所有的标准提示特征与可学习提示特征相加,得到文本特征表示。
3.根据权利要求2所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,所述文本编码器为预训练的CLIP模型中的文本编码器,所述图像编码器为预训练的CLIP模型中的图像编码器。
4.根据权利要求1所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,所述瓶颈层包括:一个包含256个通道且卷积核大小为3×3的第一卷积层、一个包含三元组通道且卷积核大小为1×1的第二卷积层;图像编码特征依次经过第一卷积层、第二卷积层,输出三元组特征。
5.根据权利要求1所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,所述三元解耦注意力模块包括:一个包含64个通道且卷积核大小为3×3的第三卷积层、一个包含器械特征通道且卷积核大小为1×1的第四卷积层、一个包含动作特征通道且卷积核大小为1×1的第五卷积层、一个包含目标组织特征通道且卷积核大小为1×1的第六卷积层;第三卷积层分别与第四卷积层、第五卷积层、第六卷积层连接;
图像编码特征在经过第三卷积层后,分别输入至第四卷积层、第五卷积层、第六卷积层,解耦出器械特征、动作特征、目标组织特征。
6.根据权利要求1所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,得到图像特征表示的过程包括:在部分注意力头中,将三元组特征分别映射为查询向量、键向量、值向量,基于查询向量、键向量、值向量进行自注意力融合,得到自注意力特征;
在剩余部分注意力头中,将器械特征、动作特征、目标组织特征组合为第二三元组特征,并将第二三元组特征分别映射为第二键向量、第二值向量;基于查询向量、第二键向量、第二值向量进行交叉注意力融合,得到交叉注意力特征;
拼接所有注意力头中的自注意力特征、交叉注意力特征,得到拼接特征;将拼接特征与第一线性投影参数相乘,得到图像特征表示。
7.根据权利要求1所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,得到文本增强后的图像特征的过程包括:将图像特征表示映射为第二查询向量,将文本特征表示映射为第三键向量、第三值向量;
基于第二查询向量、第三键向量以及第三值向量,并通过多头交叉注意力机制,得到文本增强后的图像特征。
8.根据权利要求2所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,时间卷积网络的训练过程包括:将腹腔手术视频帧图像数据集分为训练集和测试集;
将训练集中所有的腹腔手术视频帧图像均经过步骤S2-S3,分别得到对应的文本增强后的图像特征;
将文本增强后的各图像特征输入至时间卷积网络,输出对应的预测标签;
基于预测标签与腹腔手术视频帧图像的三元组标签,计算出交叉熵损失;
设置SGD优化器的参数,初始第一学习率设置为0.001,并使用线性衰减,在第200个epoch后第一学习率衰减为0.0005,最大训练周期设置为1000个epoch;
基于交叉熵损失以及设置好参数的SGD优化器,对时间卷积网络进行梯度下降优化,更新时间卷积网络的网络参数;
在训练过程中,当验证集中所有腹腔手术视频帧图像对应的交叉熵损失连续10个epoch不下降,或训练达到最大迭代次数时,停止训练,得到训练好的时间卷积网络。
9.根据权利要求3所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,CLIP模型的训练过程包括:冻结文本编码器的参数,并设置图像编码器的参数可训练;
对腹腔手术视频帧图像数据集中的腹腔手术视频帧图像进行数据增强操作,得到增强数据集,增强后各腹腔手术视频帧图像对应的文本特征表示、三元组标签均不变;
将增强数据集中的各腹腔手术视频帧图像均经过步骤S2,得到对应的第二图像特征表示;基于各第二图像特征表示与对应的文本特征表示计算对比损失,对比损失计算式为:;
;
;
其中,表示对比损失;表示在增强数据集上的期望;表示KL散度;表示余弦相似度;表示第二图像特征表示到文本特征表示的相似度分数;表示文本特征表示到第二图像特征表示的相似度分数;表示三元组标签在第二图像特征表示到文本特征表示的分布;表示三元组标签在文本特征表示到第二图像特征表示的分布;表示第二图像特征表示;表示增强数据集中第张腹腔手术视频帧图像对应的第二图像特征表示;表示增强数据集中第张腹腔手术视频帧图像对应的第二图像特征表示;表示文本特征表示;表示增强数据集中第张腹腔手术视频帧图像对应的文本特征表示;表示增强数据集中第张腹腔手术视频帧图像对应的文本特征表示;表示温度参数;D表示增强数据集;N表示增强数据集中腹腔手术视频帧图像的数量;
设置Adam优化器的参数,初始第二学习率设置为1e-5,并使用余弦衰减策略,训练时第二学习率衰减至2e-4,最小学习率设置为1e-6,最大训练周期设置为200个epoch;
基于对比损失以及设置好参数的Adam优化器,对图像编码器进行梯度下降优化,更新图像编码器的参数;当训练达到最大迭代次数时,停止训练,得到预训练的CLIP模型。
10.根据权利要求1所述的基于文本语义增强的腹腔手术视频三元组识别方法,其特征在于,得到手术器械定位结果包括:对第二器械特征,使用0.5的阈值进行前景提取,将获得的最小外接矩形作为手术器械定位结果。