欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022110912431
申请人: 长江大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是包括以下步骤:

S1、选取连续的三帧图像,利用孪生网络模型获取每帧图像的特征图;

还包括孪生网络模型的训练步骤:

S01、在孪生网络模型的训练数据集中,选择一张胶囊内窥镜图片作为锚样本,再选择一张与锚样本相似的图片作为正样本和一张与锚样本不相似的图片作为负样本;

S02、使用ResNet‑50模型提取步骤S01中选择的三张胶囊内窥镜图像特征;

S03,计算锚样本与正样本之间的欧式距离和锚样本与负样本之间的欧式距离;

S04,利用逻辑回归算法判定锚样本与正样本和锚样本与负样本之间的相似性;

通过以上步骤得到孪生网络模型;

S2、计算各个特征图之间的欧式距离;

S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性,从相似的图像中仅保留一张,或者保留不相似的图像;

设w张胶囊内窥镜视频图像序列为V:{V0,V1,V2,...,Vw‑1},去冗余帧后的胶囊内窥镜视频图像序列为V′:{V′0,V′1,V′2,...},具体流程如下:S11、选取连续的三帧胶囊内窥镜图像{Vi,Vi+1,Vi+2},得到每帧胶囊内窥镜的特征图F′:{F′i,F′i+1,F′i+2},初始i=0;

S12、计算F′i与F′i+1的欧式距离和F′i+1与F′i+2的欧式距离D′:{D′(F′i,F′i+1),D′(F′i+1,F′i+2)};

S13、将D′:{D′(F′i,F′i+1),D′(F′i+1,F′i+2)}输入训练好的逻辑回归模型中判定图片的相似性Y,:{g(D′(F′i,F′i+1)),g(D′(F′i+1,F′i+2))},得到3种相似性的情况Y′∈{Y′0,Y′1,Y′2};

其中,Y′0={1,1}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2相似,Y′1={0,

1}表示选取的3张内窥镜图像中Vi与Vi+1不相似、Vi+1与Vi+2相似,Y′2={1,0}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2不相似;

根据Y′的3种情况(Y′0,Y′1,Y′2),得到以下3种的去冗余帧的方法:其中,B0={Vi}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2相似时,去除Vi+1与Vi+2,保留Vi;B1={Vi,Vi+1}表示选取的3张内窥镜图像中当Vi与Vi+1不相似,Vi+1与Vi+2相似时,去除Vi+2,保留Vi与Vi+1;B2={Vi,Vi+2}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2不相似时,去除Vi+1,保留Vi与Vi+2;

S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像,执行步骤S1~S3;

还包括以下步骤:

S21、判断此时是否处理结束,即i+2是小于w‑1还是等于w‑1;若(i+2)<(w‑1),则表示未处理结束,跳转至步骤S22;

若(i+2)=(w‑1),则表示处理结束,跳转至S23;

S22、根据步骤S13中的3种的去冗余帧的方法,来选取新一轮的三张内窥镜图像;

选取规则为:若去冗余输出为B0={Vi},则将图像Vi放入去冗余帧后的胶囊内窥镜视频图像序列V′中,并选取图像Vi、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像;若去冗余输出为B1={Vi,Vi+1},将图像Vi和Vi+1放入去冗余帧的胶囊内窥镜视频图像序列V′中,并选取图像Vi+1、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像;若去冗余输出为B2={Vi,Vi+2},则将图像Vi和Vi+2放入去冗余帧的胶囊内窥镜视频图像序列V′中,并选取图像Vi+2、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像;

将选取的新一轮三张内窥镜图像重复步骤s21~s22;

S23、处理结束,生成去冗余帧后的胶囊内窥镜视频图像序列V′:{V′0,V′1,V′2,...};

通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。

2.根据权利要求1所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是:步骤S01中,将锚样本、正样本和负样本三张图片组成一个三元组(Ia,Ip,In),并进行归一化处理。

3.根据权利要求2所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是:步骤S02中,将步骤S01中归一化处理后的三元组(Ia,Ip,In),采用孪生网络模型进行特征提取得到3个特征图(FA,FP,FN);

C×H×W C×H×W C×H×W

其中,FA∈R ,FA∈R ,FA∈R ,C代表通道数,H代表特征图的高,w代表特征图的宽。

4.根据权利要求2所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是:步骤S03中,提取图像特征欧式距离的步骤为:设锚样本Ia与正样本Ip的欧式距离为D(A,P),锚样本Ia与负样本In的欧式距离为D(A,N),采用以下公式计算:其中,FA(k,i,j)、FN(k,i,j)和FP(k,i,j)分别表示锚样本、负样本和正样本的特征图在第k个通道,行为i,列为j处的像素值。

5.根据权利要求4所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是:设三元损失函数为LTri(FA,FP,FN),损失函数的表达式为:LTri(FA,FP,FN)=max(D(A,P)‑D(A,N)+margin,0);

其中,参数margin表示D(A,P)和D(A,N)之间间隔的程度;margin越大,就越容易区分D(A,P)和D(A,N)。

6.根据权利要求5所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是:取margin=0.5。

7.根据权利要求5或6所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法,其特征是:利用逻辑回归算法判定图像之间的相似性,具体流程如下:设2m张序列图像相似性的标签为Y,1表示相似,0表示不相似,即Y∈{0,1},两张图像之间的相似度为D={d0,d1,d2,...,dm‑1},对应的标签为Y={y0,y1,y2,...,ym‑1},逻辑回归模型的公式为:Y=g(D);

其中,g为逻辑回归sigmoid函数,sigmoid函数的计算公式为:逻辑回归算法使用交叉熵作为损失函数,设为LCE(g(di),yi),以下公式:其中,lg表示以10为底的对数。