欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025116584294
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种实体引导的图像文本描述生成方法,其特征在于,所述方法包括:获取输入图像,利用视觉语言模型提取所述输入图像的全局视觉表征;

将所述全局视觉表征输入序列化的多实体生成器模块,生成仅包含实体单词的有序实体序列,实现输入图像中的关键实体识别;

将所述有序实体序列输入词嵌入编码器,得到实体特征向量E,计算所述全局视觉表征和所述实体特征向量E之间的余弦相似度,通过相似度关注的门控机制自适应调整实体特征向量E中每个实体的贡献权重,得到相似度权重计算后的实体特征向量;

对所述全局视觉表征进行前缀扩展处理,得到视觉条件前缀,将所述相似度权重计算后的实体特征向量进行平均池化运算后与视觉条件前缀进行元素级相加,得到多模态融合特征;

对已预测的描述语句中的单词进行词向量编码,并将得到的已预测单词嵌入编码向量注入掩码自注意力模块,获得上下文关注的文本表征,将所述多模态融合特征和所述上下文关注的文本表征联合输入到基于分层Transformer架构的解码器,进行适应性聚合,经过前馈神经网络和激活函数模块处理,逐步得到所述输入图像的文本描述;

所述序列化的多实体生成器模块包括:

将所述全局视觉表征经过线性变换映射为位置特定的视觉表征;

通过将已预测的实体单词执行词嵌入编码,获得预测实体的嵌入向量;

将所述预测实体的嵌入向量传入多头掩码自注意力模块,获得上下文关注的实体表征;

将所述上下文关注的实体表征和所述位置特定的视觉表征输入交叉注意力模块,交叉注意力模块的输出经过前馈神经网络和激活函数模块处理,预测下一个实体标记的概率分布,逐步生成仅包含实体单词的有序实体序列。

2.根据权利要求1所述的方法,其特征在于,所述相似度关注的门控机制函数表达式为:,

其中,表示实体序列的长度,Sim表示余弦相似度,表示实体,表示可学习的线性映射矩阵,是被初始化为0.1的可学习门槛,用于自适应调整每个实体的贡献权重,表示sigmoid门控函数,是调节门控锐度的温度参数,数值越低产生的响应曲线越陡峭,表示分配给实体序列中每个实体的相似度权重值,是相似度权重计算后的实体特征向量。

3.根据权利要求1所述的方法,其特征在于,对所述全局视觉表征进行前缀扩展处理,得到视觉条件前缀,将所述相似度权重计算后的实体特征向量进行平均池化运算后与视觉条件前缀进行元素级相加,具体为:将全局视觉表征经过线性层扩展为视觉标记,和可学习的前缀编码相连接,随后经过Transformer处理,对应前缀位置的输出部分作为视觉条件前缀;

将所述相似度权重计算后的实体特征向量经过平均池化运算,获得全局的实体表征,随后将全局实体表征进行次广播,并与视觉条件前缀进行元素级相加,获得多模态融合特征,函数表达式为:,

其中,表示次广播,表示实体序列的长度,表示根据相似度权重计算后的实体特征向量的个体。

4.根据权利要求1所述的方法,其特征在于,所述基于分层Transformer架构的解码器的每一层利用自注意力机制精炼视觉特征,并利用交叉注意力将其与所述上下文关注的文本表征融合,其函数表达式为:,

其中,是从第个自注意力层精炼的视觉特征,表示经过相应的交叉注意力层提取的多尺度特征,MHA表示多头注意力机制,表示自注意力机制,表示交叉注意力机制;

基于所述上下文关注的文本表征引导,利用适应性整合模块融合多尺度特征,利用可学习的权重机制,动态估计每个尺度特征的相对重要性。

5.根据权利要求4所述的方法,其特征在于,基于所述上下文关注的文本表征引导,利用适应性整合模块融合多尺度特征,利用可学习的权重机制,具体为:通过引入两个多层感知机,首先交互式地将连接特征编码为中间表示,然后生成归一化的融合权重,函数表达式为:,

其中,MLP1为多层感知机1,MLP2为多层感知机2,MLP1和MLP2均包含两个线性层,中间通过高斯误差线性单元激活函数连接,表示特征拼接操作,表示加权后的融合特征表示;

然后采用门控网络进一步平衡模块和的贡献度,其函数表达式为:,

其中,由一个线性层、归一化层、GELU激活函数以及一个线性层依次按顺序构成,为层归一化操作,为sigmoid激活函数,为门控向量。

6.根据权利要求1所述的方法,其特征在于,在训练阶段,使用的损失函数表达式为:,

其中,采用余弦退火策略进行调度,和分别表示实体序列和描述文本序列的长度,和表示实体和描述文本对应的词汇表规模,和分别表示在时间步时,针对实体序列和描述文本序列选择第k个单词的预测概率,根据真实标注,当第个单词在位置处为正确标记,则或,否则设置为0。

7.根据权利要求6所述的方法,其特征在于,在使用损失函数完成训练过程后,使用自临界序列训练方法,对模型进行微调,所述微调的损失公式为:,

其中,N表示批次大小,表示第i幅图像对应采样生成描述的奖励值,表示基线奖励,其计算为对第幅图像进行束搜索,所得结果的奖励平均值,而则表示所采样描述的对数概率。