1.一种基于文本的行人搜索任务语义对齐方法,其特征在于,包括以下步骤:
给定图像和文本,对图像和文本进行特征提取,分别得到图像特征和文本特征,其中图像和文本的特征包括局部特征和全局特征;
构建特征聚合网络,特征聚合网络包括多头注意力模型,将图像特征和文本特征输入至特征聚合网络,输出语义对齐的图像感知特征和文本感知特征,其中图像局部特征和文本局部特征通过受跨模态局部对齐损失和三元组损失约束的多头注意力模型实现局部特征对齐;
基于图像感知特征和文本感知特征计算图像和文本的原始相似度;
在推理过程中,给定一个文本查询,根据原始相似度对图像进行排序,获得初始排序列表,对于初始排序列表中的每个图像根据其视觉表示的相似性得到图像的最近邻,且根据文本与图像的原始相似度得到文本查询的最近邻,根据两个最近邻计算文本查询与每个图像之间的成对相似度,并根据原始相似度和成对相似度对图像进行重新排序。
2.根据权利要求1所述的基于文本的行人搜索任务语义对齐方法,其特征在于,对所述图像进行特征提取得到图像特征的方法包括:给定多个图像,将每个图像分割为设定大小的切片序列,通过可训练的线性投影将切片序列映射到d维嵌入,在切片嵌入序列中增加可学习的嵌入标记并将其输入至图像特征编码器,输出每个图像特征,其中图像特征包括图像全局特征和图像局部特征。
3.根据权利要求1所述的基于文本的行人搜索任务语义对齐方法,其特征在于,对所述文本进行特征提取得到文本特征的方法包括:给定多个文本描述,将每个文本描述输入至文本特征编码器,输出每个文本特征,其中文本特征包括文本全局特征和文本局部特征。
4.根据权利要求1所述的基于文本的行人搜索任务语义对齐方法,其特征在于,所述图像局部特征和文本局部特征通过多头注意力模型进行局部特征对齐的方法包括:将多个图像特征和多个文本特征分别输入至结构相同的两个所述多头注意力模型中,在多头注意力模型中分别得到图像块嵌入集和文本嵌入集,然后将多个图像的图像块嵌入集中对应的嵌入特征组合得到多个图像块嵌入矩阵,同时将多个文本的文本嵌入集中对应的嵌入特征组合得到多个文本嵌入矩阵;
使用受跨模态局部对齐损失和三元组损失训练多头注意力模型,得到训练后的多头注意力模型,利用训练后的多头注意力模型输出语义对齐的图像感知特征和文本感知特征。
5.根据权利要求1所述的基于文本的行人搜索任务语义对齐方法,其特征在于,所述特征聚合网络受跨模态全局对齐损失、跨模态局部对齐损失和三元组损失约束对图像全局特征和文本全局特征进行语义对齐。
6.根据权利要求1所述的基于文本的行人搜索任务语义对齐方法,其特征在于,计算图像和文本的原始相似度的方法包括:计算图像-文本对之间的原始相似度的计算公式如下:
其中,I和T代表输入的图像和文本,k为多头注意力模型中的头注意力模块的个数,e
7.根据权利要求1所述的基于文本的行人搜索任务语义对齐方法,其特征在于,根据两个最近邻计算所述文本查询与每个图像之间的成对相似度的方法包括:计算所述文本查询与每个图像之间的成对相似度的公式如下:
其中,N
8.一种基于文本的行人搜索任务语义对齐系统,其特征在于,包括:
特征提取模块,给定图像和文本,所述特征提取模块用于对图像和文本进行特征提取,分别得到图像特征和文本特征,其中图像和文本的特征包括局部特征和全局特征;
语义对齐模块,所述语义对齐模块用于构建特征聚合网络,特征聚合网络包括多头注意力模型,将图像特征和文本特征输入至特征聚合网络,输出语义对齐的图像感知特征和文本感知特征,其中图像局部特征和文本局部特征通过受跨模态局部对齐损失和三元组损失约束多头注意力模型实现局部特征对齐;
相似度计算模块,所述相似度计算模块用于基于所述图像感知特征和文本感知特征计算图像和的原始相似度;
重排序模块,所述重排序模块用于,在推理过程中,给定一个文本查询,根据原始相似度对图像进行排序,获得初始排序列表,对于初始排序列表中的每个图像根据其视觉表示的相似性得到图像的最近邻,且根据文本与图像的原始相似度得到文本查询的最近邻,根据两个最近邻计算文本查询与每个图像之间的成对相似度,并根据原始相似度和成对相似度对图像进行重新排序。
9.根据权利要求8所述的基于文本的行人搜索任务语义对齐系统,其特征在于,所述语义对齐模块还用于将图像局部特征和文本局部特征通过多头注意力模型实现局部特征对齐,其包括:将多个图像和多个文本分别输入至结构相同的两个所述多头注意力模型中,在多头注意力模型中分别得到图像块嵌入集和文本嵌入集,然后将多个图像的图像块嵌入集中对应的嵌入特征组合得到多个图像块嵌入矩阵,同时将多个文本的文本嵌入集中对应的嵌入特征组合得到多个文本嵌入矩阵;
使用受跨模态局部对齐损失和三元组损失训练多头注意力模型,得到训练后的多头注意力模型,利用训练后的多头注意力模型输出语义对齐的图像感知特征和文本感知特征。
10.根据权利要求8所述的基于文本的行人搜索任务语义对齐系统,其特征在于,所述重排序模块还用于计算所述文本查询与每个图像之间的成对相似度,其包括:计算所述文本查询与每个图像之间的成对相似度的公式如下:
其中,N