欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202511010793X
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种视觉语言目标检测数据自动标注方法,其特征在于,包括如下步骤:步骤S1,提供待标注的图像数据集,利用视觉语言多模态文本生成大模型生成图像数据集中每个图像的文本描述;

步骤S2,自定义名词提示模板,利用n-gram算法将每个图像的文本描述拆分为连续的n-gram序列,从名词提示模板中抽取目标词汇,判断n-gram序列中是否出现目标词汇,若是,则保留该图像及其对应的文本描述,并利用CLIP模型计算该图像及其对应文本描述的相似度,将其作为图像的原始分类置信度;反之,则删除该图像及其对应的文本描述,遍历图像数据集中的所有图像,对所述图像数据集进行筛选,得到与目标词汇相匹配的图像子集;

步骤S3,将与目标词汇相匹配的图像子集输入到开放世界目标检测模型中进行图像伪标注,输出边界框、边界框的类别以及边界框的原始置信度;

步骤S4,根据边界框的尺寸对每张图像进行裁剪得到区域图像,利用CLIP模型计算区域图像及其对应类别名词的相似度,将其作为修正因子,对每个边界框的原始置信度进行修正;

步骤S5,利用高斯加权的柔性化非极大值抑制算法对边界框进行过滤,去除重复的边界框,具体包括:计算边界框的相对置信度,设定置信度阈值对边界框进行筛选,保留相对置信度高于置信度阈值的边界框;

步骤S6,计算每张图像上所有边界框相对置信度的均值,作为区域级分类置信度,将图像的原始分类置信度作为图像级分类置信度,计算区域级分类置信度和图像级分类置信度的几何平均数,得到图像的最终分类置信度,设定置信度阈值对图像进行筛选,保留最终分类置信度大于置信度阈值的图像,并将其对应的目标类别作为图像的标注。

2.根据权利要求1所述的视觉语言目标检测数据自动标注方法,其特征在于,视觉语言多模态文本生成大模型采用双塔结构,包括分别用于处理图像和文本描述的图像编码器和文本编码器,图像编码器使用CNN网络或Vision Transformer网络提取图像的视觉特征,文本编码器基于BERT或GPT架构生成文本描述的语义嵌入,然后通过对比学习让视觉特征和语义嵌入在共享空间中对齐,使语义嵌入与视觉特征接近,实现对图像的描述功能。

3.根据权利要求1所述的视觉语言目标检测数据自动标注方法,其特征在于,CLIP模型包括文本和图像两个独立编码器,分别将文本和图像编码成特征向量,并利用海量互联网图文对进行预训练,将图像和文本映射到统一嵌入空间中,在该空间中,将图像-文本匹配对相似度最大化、不匹配对相似度最小化,从而实现跨模态的对比学习。

4.根据权利要求1所述的视觉语言目标检测数据自动标注方法,其特征在于,步骤S2具体包括如下步骤:步骤S21,自定义包括多种名词类别的名词提示模板;

步骤S22,对每个图像的文本描述进行分词,将文本描述的长句子拆分为词汇列表;

步骤S23,使用滑动窗口将词汇列表划分为连续长度为n的n-gram序列;

步骤S24,从名词提示模板中抽取目标词汇,判断n-gram序列中是否出现目标词汇,若是,则保留该图像及其对应文本描述,并利用CLIP模型计算该图像及其对应文本描述的相似度,将其作为图像的原始分类置信度;反之,则删除该图像及其对应的文本描述,遍历图像数据集中的所有图像,对所述图像数据集进行筛选,得到与目标词汇相匹配的图像子集;

图像和文本描述的相似度通过如下方式计算:

;

式中,i表示图像的序号索引。

5.根据权利要求4所述的视觉语言目标检测数据自动标注方法,其特征在于,伪标注的结果表示为:,式中、、分别表示图像对应的边界框、边界框类别和边界框的原始置信度;表示边界框的总数量。

6.根据权利要求5所述的视觉语言目标检测数据自动标注方法,其特征在于,边界框对应的区域图像与其独赢的类别名词的第二相似度通过如下方式计算:;

边界框的修正置信度表示为:

。

7.根据权利要求6所述的视觉语言目标检测数据自动标注方法,其特征在于,高斯加权的柔性化非极大值抑制算法对边界框的过滤过程具体包括如下步骤:步骤S51,按照边界框的目标类别定义输入列表和输出列表,每种目标类别的边界框对应一个唯一的输入列表和一个唯一的输出列表;针对任意一种目标类别,将所有的边界框划入输入列表中并按照置信度降序排列;

步骤S52,选择输入列表中置信度最高的边界框,将其从输入列表中移除并加入输出列表,从输入列表中逐个选择边界框,计算边界框相对于边界框的相对置信度,将相对置信度赋值给边界框,然后将边界框从输入列表中移除并加入输出列表;边界框相对于边界框的相对置信度通过如下方式计算:;

式中,表示边界框的修正置信度;表示修正因子,用于进一步调整损失函数,;表示边界框和边界框的完全交并比,通过如下方式计算:;

式中,表示边界框和边界框的交并比;表示边界框和边界框中心点的距离;c表示同时覆盖边界框和边界框的最小封闭矩形的对角线长度;表示宽高比一致性指标,用于考虑边界框形状和方向的影响;

其中:

;

;

式中,、分别表示边界框的宽和高;、分别表示边界框的宽和高; 表示权重系数,用于平衡在损失中的重要性;

步骤S53,重复步骤S52直至该目标类别的输入列表为空,然后返回步骤S51选择下一目标类别,遍历所有的目标类别;

步骤S54,设定置信度阈值对边界框进行筛选,保留相对置信度高于置信度阈值的边界框,完成边界框的过滤。

8.根据权利要求7所述的视觉语言目标检测数据自动标注方法,其特征在于,图像的最终分类置信度表示为:;

式中,表示图像级分类置信度;表示区域级分类置信度。

9.一种用于执行权利要求1-8任一项所述的视觉语言目标检测数据自动标注方法的系统,其特征在于,包括:文本描述生成模块,提供待标注的图像数据集,利用视觉语言多模态文本生成大模型生成图像数据集中每个图像的文本描述;

图像筛选模块,用于自定义名词提示模板,利用n-gram算法将每个图像的文本描述拆分为连续的n-gram序列,从名词提示模板中抽取目标词汇,判断n-gram序列中是否出现目标词汇,若是,则保留该图像及其对应的文本描述,并利用CLIP模型计算该图像及其对应文本描述的相似度,将其作为图像的原始分类置信度;反之,则删除该图像及其对应的文本描述,遍历图像数据集中的所有图像,对所述图像数据集进行筛选,得到与目标词汇相匹配的图像子集;

伪标注模块,用于将与目标词汇相匹配的图像子集输入到开放世界目标检测模型中进行图像伪标注,输出边界框、边界框的类别以及边界框的原始置信度;

修正模块,用于根据边界框的尺寸对每张图像进行裁剪得到区域图像,利用CLIP模型计算区域图像及其对应类别名词的相似度,将其作为修正因子,对每个边界框的原始置信度进行修正;

过滤模块,用于利用高斯加权的柔性化非极大值抑制算法对边界框进行过滤,去除重复的边界框,具体包括:计算边界框的相对置信度,设定置信度阈值对边界框进行筛选,保留相对置信度高于置信度阈值的边界框;

输出模块,用于计算每张图像上所有边界框相对置信度的均值,作为区域级分类置信度,将图像的原始分类置信度作为图像级分类置信度,计算区域级分类置信度和图像级分类置信度的几何平均数,得到图像的最终分类置信度,设定置信度阈值对图像进行筛选,保留最终分类置信度大于置信度阈值的图像,并将其对应的目标类别作为图像的标注。