欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024101291703
申请人: 临沂大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种术中内窥镜绝对与相对位姿计算的方法,其特征在于,包括以下步骤:

采集虚拟相机模拟内窥镜动作时数据,构建RMIS场景下的虚拟数据集;

基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿,采集模拟手术操作带动内窥镜进行运动时的数据,构建RMIS场景下的真实世界‑模拟数据集;

对所述的虚拟数据集和真实世界‑模拟数据集进行数据预处理,将预处理后的虚拟数据集划分为第一训练集和第一测试集,将预处理后的真实世界‑模拟数据集划分为第二训练集和第二测试集;

基于编码器‑解码器架构建立单编码器‑双解码器的内窥镜位姿估计模型,所述内窥镜位姿估计模型包括编码器、特征跳跃连接器、语义分割解码器和位姿估计解码器;所述编码器用于提取RMIS过程中图像数据的各级特征图,所述各级特征图包含图像的不同抽象级别信息;所述特征跳跃连接器用于将编码器所提取的各级特征图送入语义分割解码器;所述语义分割解码器用于学习从特征图中恢复图像细节的能力并为位姿估计解码器提供隐式几何约束;所述位姿估计解码器用于从特征图中回归分析内窥镜的绝对位姿并输出RMIS过程中图像对应的内窥镜绝对位姿;

采用预处理后的虚拟数据集和真实世界‑模拟数据集对所述内窥镜位姿估计模型进行训练和评估,得到训练后的内窥镜位姿估计模型;

实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据,并输入至训练后的内窥镜位姿估计模型,获得RMIS过程中实时图像对应的内窥镜绝对位姿数据;

基于RMIS过程中实时图像对应的内窥镜绝对位姿数据,计算RMIS过程中内窥镜的实时相对位姿;

所述基于编码器‑解码器架构建立单编码器‑双解码器的内窥镜位姿估计模型,包括:

获取编码器的初始模型参数并加载至编码器,并去除编码器的全连接分类层,使之成为一个全卷积网络;

将选定数据集的训练集中的若干个图像输入编码器;

依据全卷积网络各卷积块的输出尺寸将所有卷积层划分为若干层级,对训练图像进行编码操作,得到各训练图像在各层级卷积层的第一特征图;

根据选用的编码器所划分出的层级数,设置数量相同、输出尺寸与编码器各层级一一对应的级联子解码器,由所有子解码器及预测模块构成语义分割解码器,语义分割解码器的最后一级子解码器块的输出尺寸与原始训练图像尺寸相同;

设置一高维全连接层与一维数与位姿向量长度相同的全连接层,构成位姿估计解码器;

语义分割解码器的最低级子解码器接收尺寸最小的第一特征图作为输入,次低级解码器接收最低级子解码器的输出作为输入,以此类推,最后位姿估计解码器输出内窥镜绝对位姿向量;

所述采用预处理后的虚拟数据集和真实世界‑模拟数据集对所述内窥镜位姿估计模型进行训练和评估,得到训练后的内窥镜位姿估计模型,包括:基于第一训练集,为内窥镜位姿估计模型的语义分割解码器和位姿估计解码器分别设置损失函数,并将两个损失函数进行加权组合作为总损失函数,依次将模型的输出的语义分割结果与位姿估计结果以及相应的标注代入,计算损失值,采用优化器进行内窥镜位姿估计模型的预训练并更新权重,直至内窥镜位姿估计模型收敛,在预训练收敛后保存整体网络模型权重;

为内窥镜位姿估计模型加载保存的预训练收敛后的整体网络模型权重,输入第一测试集中的图像样本,获取各样本所对应的内窥镜位姿估计值并度量其与相应位姿真值的误差,对内窥镜位姿估计模型对于虚拟内窥镜位姿估计的效果进行评估;

基于第二训练集,为内窥镜位姿估计模型的语义分割解码器和位姿估计解码器分别设置损失函数,并将两个损失函数进行加权组合作为总损失,依次将模型的输出的语义分割结果与位姿估计结果以及相应的标注代入,计算损失值,采用优化器进行内窥镜位姿估计模型的微调训练并更新权重,直至内窥镜位姿估计模型收敛,在微调训练收敛后保存整体网络模型权重;

为内窥镜位姿估计模型加载微调训练后的模型权重,输入第二测试集中的图像样本,获取各样本所对应的内窥镜位姿估计值并度量其与相应位姿地面真值的误差,评估内窥镜位姿估计模型的位姿估计效果。

2.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法,其特征在于,所述采集虚拟相机模拟内窥镜动作时数据,构建RMIS场景下的虚拟数据集,包括:将手术机器人手术器械以及不同生物组织背景的三维模型导入至三维渲染软件中,设置一虚拟相机模拟内窥镜并令其按预设好的轨迹移动且对准手术器械三维模型;

按一定帧率持续渲染生成虚拟相机视野下的手术器械及生物组织背景图像,同时采集各帧图像相对应的手术器械分割掩码及虚拟内窥镜绝对位姿标注,形成虚拟数据集。

3.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法,其特征在于,所述基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿,采集模拟手术操作带动内窥镜进行运动时的数据,构建RMIS场景下的真实世界‑模拟数据集,包括:在实际手术场景外,将能自动记录本身坐标系相对于世界坐标系位姿的外部传感器固连在内窥镜上,通过外部标定技术,获取固连状态下内窥镜坐标系相对于传感器坐标系的位姿;

使用机器人机械臂夹持内窥镜及与内窥镜所固连的传感器,通过模拟手术操作带动内窥镜进行运动,并记录内窥镜采集的RMIS现场图像数据与传感器坐标系相对于世界坐标系的位姿数据,利用外部标定得到的固连状态下内窥镜坐标系相对于传感器坐标系的位姿计算得到内窥镜坐标系相对于世界坐标系的位姿;

使用标注工具对每张现场图像数据标注出手术器械分割掩码,并将各张现场图像数据与相应的内窥镜坐标系相对于世界坐标系的位姿以及手术器械分割掩码进行合并,构建真实世界‑模拟数据集。

4.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法,其特征在于,所述对所述的虚拟数据集和真实世界‑模拟数据集进行数据预处理,将预处理后的虚拟数据集划分为第一训练集和第一测试集,将预处理后的真实世界‑模拟数据集划分为第二训练集和第二测试集,包括:首先对虚拟数据集中的数据进行调整图像尺寸和图像归一化处理,然后将虚拟数据集中所有图像样本所对应的虚拟内窥镜位姿标注转换为对偶四元数形式,最后将虚拟数据集划分为第一训练集和第一测试集,所述虚拟数据集中的每个图像都至少对应含有手术器械分割掩码以及拍摄此图像的虚拟内窥镜的坐标系相对于世界坐标系的对偶四元数参数化的位姿真值标注;

首先对真实世界‑模拟数据集中的数据进行调整图像尺寸和图像归一化处理,然后将所有图像样本所对应的内窥镜位姿标注转换为对偶四元数形式,最后将真实世界‑模拟数据集划分为第二训练集和第二测试集,所述真实世界‑模拟数据集中的每个图像都至少对应含有手术器械分割掩码以及拍摄此图像的内窥镜的坐标系相对于世界坐标系的使用对偶四元数参数化的位姿真值标注。

5.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法,其特征在于,所述语义分割解码器的损失函数L1为:其中,n为样本数量,C为类别交叉熵损失,I和 表示输出‑标注图像对中每个像素的预测值和对应的标注值,α为权重标量;

所述位姿估计解码器的损失函数L2为:

其中,p为位姿估计值, 为位姿真值;

所述总损失函数为:

其中, 为权重标量。

6.一种术中内窥镜绝对与相对位姿计算的装置,其特征在于,包括:

虚拟数据集构建模块,用于采集虚拟相机模拟内窥镜动作时数据,构建RMIS场景下的虚拟数据集;

真实世界‑模拟数据集构建模块,用于基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿,采集模拟手术操作带动内窥镜进行运动时的数据,构建RMIS场景下的真实世界‑模拟数据集;

数据预处理模块,用于对所述的虚拟数据集和真实世界‑模拟数据集进行数据预处理,将预处理后的虚拟数据集划分为第一训练集和第一测试集,将预处理后的真实世界‑模拟数据集划分为第二训练集和第二测试集;

内窥镜位姿估计模型建立模块,用于基于编码器‑解码器架构建立单编码器‑双解码器的内窥镜位姿估计模型,所述内窥镜位姿估计模型包括编码器、特征跳跃连接器、语义分割解码器和位姿估计解码器;所述编码器用于提取RMIS过程中图像数据的各级特征图,所述各级特征图包含图像的不同抽象级别信息;所述特征跳跃连接器用于将编码器所提取的各级特征图送入语义分割解码器;所述语义分割解码器用于学习从特征图中恢复图像细节的能力并为位姿估计解码器提供隐式几何约束;所述位姿估计解码器用于从特征图中回归分析内窥镜的绝对位姿并输出RMIS过程中图像对应的内窥镜绝对位姿;

模型训练模块,用于采用预处理后的虚拟数据集和真实世界‑模拟数据集对所述内窥镜位姿估计模型进行训练和评估,得到训练后的内窥镜位姿估计模型;

绝对位姿输出模块,用于实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据,并输入至训练后的内窥镜位姿估计模型,获得RMIS过程中实时图像对应的内窥镜绝对位姿数据;

相对位姿计算模块,用于基于RMIS过程中实时图像对应的内窥镜绝对位姿数据,计算RMIS过程中内窥镜的实时相对位姿;

所述基于编码器‑解码器架构建立单编码器‑双解码器的内窥镜位姿估计模型,包括:

获取编码器的初始模型参数并加载至编码器,并去除编码器的全连接分类层,使之成为一个全卷积网络;

将选定数据集的训练集中的若干个图像输入编码器;

依据全卷积网络各卷积块的输出尺寸将所有卷积层划分为若干层级,对训练图像进行编码操作,得到各训练图像在各层级卷积层的第一特征图;

根据选用的编码器所划分出的层级数,设置数量相同、输出尺寸与编码器各层级一一对应的级联子解码器,由所有子解码器及预测模块构成语义分割解码器,语义分割解码器的最后一级子解码器块的输出尺寸与原始训练图像尺寸相同;

设置一高维全连接层与一维数与位姿向量长度相同的全连接层,构成位姿估计解码器;

语义分割解码器的最低级子解码器接收尺寸最小的第一特征图作为输入,次低级解码器接收最低级子解码器的输出作为输入,以此类推,最后位姿估计解码器输出内窥镜绝对位姿向量;

所述采用预处理后的虚拟数据集和真实世界‑模拟数据集对所述内窥镜位姿估计模型进行训练和评估,得到训练后的内窥镜位姿估计模型,包括:基于第一训练集,为内窥镜位姿估计模型的语义分割解码器和位姿估计解码器分别设置损失函数,并将两个损失函数进行加权组合作为总损失函数,依次将模型的输出的语义分割结果与位姿估计结果以及相应的标注代入,计算损失值,采用优化器进行内窥镜位姿估计模型的预训练并更新权重,直至内窥镜位姿估计模型收敛,在预训练收敛后保存整体网络模型权重;

为内窥镜位姿估计模型加载保存的预训练收敛后的整体网络模型权重,输入第一测试集中的图像样本,获取各样本所对应的内窥镜位姿估计值并度量其与相应位姿真值的误差,对内窥镜位姿估计模型对于虚拟内窥镜位姿估计的效果进行评估;

基于第二训练集,为内窥镜位姿估计模型的语义分割解码器和位姿估计解码器分别设置损失函数,并将两个损失函数进行加权组合作为总损失,依次将模型的输出的语义分割结果与位姿估计结果以及相应的标注代入,计算损失值,采用优化器进行内窥镜位姿估计模型的微调训练并更新权重,直至内窥镜位姿估计模型收敛,在微调训练收敛后保存整体网络模型权重;

为内窥镜位姿估计模型加载微调训练后的模型权重,输入第二测试集中的图像样本,获取各样本所对应的内窥镜位姿估计值并度量其与相应位姿地面真值的误差,评估内窥镜位姿估计模型的位姿估计效果。

7.一种计算机设备,其特征在于,包括处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1‑5任一所述的术中内窥镜绝对与相对位姿计算的方法的步骤。

8.一种存储介质,其特征在于,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1‑5任一所述的术中内窥镜绝对与相对位姿计算的方法的步骤。