欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114737089
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于模糊逻辑推理关系重要性的显著场景图生成方法,包括:步骤S100,使用模糊逻辑计算目标数据集中每个图像样本真实关系的重要性分数,并将目标数据集划分为训练集和测试集,其中每个图像样本包括主体对象和客体对象;其中所述步骤S100中使用模糊逻辑计算目标数据集中每个图像样本真实关系的重要性分数包括:根据关系重要程度的影响因素,将目标数据集中的关系区域面积、谓词频率以及用户可指定的实例类、谓词类、属性类数据进行预处理,作为模糊推理系统的输入参数;

为模糊推理系统的输入参数划分模糊集合;

制定隶属度函数,通过隶属度函数将模糊推理系统的输入参数转换为模糊值;

根据影响关系重要性的因素定义模糊规则,并根据模糊规则对模糊值进行评估,生成每条模糊规则的模糊输出;

通过模糊推理系统将模糊规则的模糊输出聚合,生成模糊输出参数,通过质心法解模糊化过程,将模糊输出参数的模糊集合转换为重要性分数;

步骤S200,构建以图像样本为输入、以图像样本中各对象间待预测关系实例的标签和待预测关系实例相应的边界框信息为输出的目标检测器;

步骤S300,构建以图像样本中各对象间待预测关系实例的标签为输入、主体对象的实例特征和客体对象的实例特征为输出的语义提取器,并构建实例特征细化模块,对主体对象的实例特征和客体对象的实例特征进行细化;

步骤S400,构建以图像样本中各对象间待预测关系实例相应的边界框信息为输入、以主体对象的边界框特征和客体对象的边界框特征为输出的边界框建模模块,构建将主体对象的边界框特征和主体对象的实例特征拼接输出主体对象的实例表示、将客体对象的边界框特征和客体对象的实例特征拼接输出客体对象的实例表示的特征拼接模块;

步骤S500,构建以将主体对象的实例表示和客体对象的实例表示为输入、待预测关系的关系特征为输出的特征融合模块,并构建以待预测关系的关系特征为输入、待预测关系的关系表示为输出的关系表示建模模块;

步骤S600,构建用于生成待预测关系的关系表示的标签分布、结合真实关系的标签进行损失计算、将真实关系的重要性分数作为权重对每个图像样本的关系的损失进行加权和进行场景图生成训练的关系损失加权模块;

步骤S700,自输入至输出方向,目标检测器、语义提取器、实例特征细化模块、边界框建模模块、特征拼接模块、特征融合模块、关系表示建模模块、关系损失加权模块构成待训练网络结构;基于目标数据集,以图像样本为输入、场景图为输出,针对待训练网络结构进行训练,获得场景图生成模型;在训练图像样本数量达到批量处理大小的情况下,返回步骤S200;在训练集中图像样本全部读取完成的情况下,进入步骤S800;

步骤S800,输出场景图生成模型。

2.根据权利要求1所述的方法,其特征在于,所述步骤S400包括:将实例的边界框左上角的坐标、右下角的坐标及边界框的面积按列拼接,并通过建模生成边界框特征;

将实例特征和边界框特征通过建模拼接形成实例表示。

3.根据权利要求1所述的方法,其特征在于,所述步骤S600中将真实关系的重要性分数作为权重对每个图像样本的关系的损失进行加权包括:采用语义提取器提取目标数据集中的谓词特征;

通过建模生成细化的谓词特征;

对关系表示和谓词特征进行标准化处理;

通过加权交叉熵损失函数计算待预测关系的标签分布和真实关系标签的损失。

4.一种场景图生成模型测试方法,用于测试如权利要求1至3中任意一项所述的场景图生成模型,包括:步骤S100,将测试集中的图像样本输入到以图像样本为输入、场景图为输出的场景图生成模型中进行关系预测;

步骤S200,将关系预测结果与真实谓词标签进行比较,使用目标评估指标对比较结果进行评估;

步骤S300,引入目标预测指标对关系预测的结果进行评估;

步骤S400,筛选出场景图生成模型关系预测结果中的重要关系生成场景图;

步骤S500,输出所生成的场景图。

5.根据权利要求4所述的方法,其特征在于,所述步骤S300包括:引入重要关系召回率和重要关系准确率对关系预测的结果进行评估。

6.根据权利要求4所述的方法,其特征在于,所述步骤S400之前还包括:计算测试集中每个图像样本关系的重要性分数,并通过重要性分数对预测关系由大到小进行排序,其中重要性分数大于0.5的关系作为重要关系。

7.一种基于模糊逻辑推理关系重要性的显著场景图生成装置,用于实现如权利要求1-3中任意一项所述的方法,包括:重要性分数计算模块,用于使用模糊逻辑计算目标数据集中每个图像样本真实关系的重要性分数,并将目标数据集划分为训练集和测试集,其中每个图像样本包括主体对象和客体对象;

目标检测器构建模块,用于构建以图像样本为输入、以图像样本中各对象间待预测关系实例的标签和待预测关系实例相应的边界框信息为输出的目标检测器;

实例特征提取细化模块,用于构建以图像样本中各对象间待预测关系实例的标签为输入、主体对象的实例特征和客体对象的实例特征为输出的语义提取器,并构建实例特征细化模块,对主体对象的实例特征和客体对象的实例特征进行细化;

实例表示生成模块,用于构建以图像样本中各对象间待预测关系实例相应的边界框信息为输入、以主体对象的边界框特征和客体对象的边界框特征为输出的边界框建模模块,构建将主体对象的边界框特征和主体对象的实例特征拼接输出主体对象的实例表示、将客体对象的边界框特征和客体对象的实例特征拼接输出客体对象的实例表示的特征拼接模块;

关系表示生成模块,用于构建以将主体对象的实例表示和客体对象的实例表示为输入、待预测关系的关系特征为输出的特征融合模块,并构建以待预测关系的关系特征为输入、待预测关系的关系表示为输出的关系表示建模模块;

关系损失加权模块,用于构建用于生成待预测关系的关系表示的标签分布、结合真实关系的标签进行损失计算、将真实关系的重要性分数作为权重对每个图像样本的关系的损失进行加权和进行场景图生成训练的关系损失加权模块;

场景图生成模型训练模块,用于自输入至输出方向,目标检测器、语义提取器、实例特征细化模块、边界框建模模块、特征拼接模块、特征融合模块、关系表示建模模块、关系损失加权模块构成待训练网络结构;基于目标数据集,以图像样本为输入、场景图为输出,针对待训练网络结构进行训练,获得场景图生成模型;在训练图像样本数量达到批量处理大小的情况下,返回目标检测器构建模块;在训练集中图像样本全部读取完成的情况下,进入场景图生成模型输出模块;

场景图生成模型输出模块,用于输出场景图生成模型。

8.一种场景图生成模型测试装置,用于测试如权利要求1至3中任意一项所述的场景图生成模型,包括:关系预测模块,用于将测试集中的图像样本输入到以图像样本为输入、场景图为输出的场景图生成模型中进行关系预测;

对比结果评估模块,用于将关系预测结果与真实谓词标签进行比较,使用目标评估指标对比较结果进行评估;

预测结果评估模块,用于引入目标预测指标对关系预测的结果进行评估;

场景图生成模块,用于筛选出场景图生成模型关系预测结果中的重要关系生成场景图;

场景图输出模块,用于输出所生成的场景图。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。