1.一种基于图像文本对的图像目标计数方法,其特征在于,包括:
将原始图像输入图像编码器,输出图像编码;将原始图像中待计数的目标类别的文本输入文本编码器,输出文本编码;
将文本编码和图像编码输入至文本图像增强模块,输出目标融合特征,包括:
将文本编码和图像编码输入至文本图像增强模块的第一特征增强模块,得到第一增强特征,包括:将图像编码作为第一局部增强多头自注意力机制的输入特征,得到第一图像增强特征;将文本编码和第一图像增强特征输入至第一交叉注意力机制,其中文本编码作为查询,第一图像增强特征作为键和值,输出第一文本图像融合特征;将第一文本图像融合特征输入至第一多层感知机,得到第一增强特征;
将第一增强特征经过卷积层和上采样层后,输入至文本图像增强模块的第二特征增强模块,得到第二增强特征,包括:将第一增强特征经过卷积层和上采样层后,输入至第二特征增强模块的第一局部增强多头自注意力机制,得到第二图像增强特征;将文本编码和第二图像增强特征输入至第二交叉注意力机制,其中文本编码作为查询,第二图像增强特征作为键和值,输出第二文本图像融合特征;将第二文本图像融合特征输入至第二多层感知机,得到第二增强特征;
将第一增强特征和第二增强特征输入至文本图像增强模块的特征融合模块,第一增强特征和第二增强特征相加后依次经过两个上采样子模块,得到目标融合特征;
其中,每个特征增强模块包括依次连接的局部增强多头自注意力机制、交叉注意力机制和多层感知机;所述局部增强多头自注意力机制为三分支结构,包括通道注意力分支、多头自注意力分支和空间注意力分支;
将目标融合特征输入至解耦头,解耦头的回归头输出个体的预测点的坐标,解耦头的分类头输出每个预测点的类别置信度;根据预测点的类别置信度判断预测点是否属于目标类别,若是,则输出该预测点的坐标和类别置信度,进而得到属于目标类别的个体的总数。
2.根据权利要求1所述的一种基于图像文本对的图像目标计数方法,其特征在于,所述文本编码器包括依次连接的文本预处理模块和文本编码模块;所述文本预处理模块用于降低输入文本的噪声,输出预处理文本;所述文本编码模块用于接收预处理文本,输出文本编码;
所述图像编码器包括图像预处理模块和图像编码模块;所述图像预处理模块用于对输入图像缩放、随机翻转和归一化,输出预处理图像;所述图像编码模块用于接收预处理图像,输出图像编码。
3.根据权利要求2所述的一种基于图像文本对的图像目标计数方法,其特征在于,所述文本编码模块采用BERT模型。
4.根据权利要求2所述的一种基于图像文本对的图像目标计数方法,其特征在于,所述图像编码模块采用ViT模型。
5.根据权利要求1所述的一种基于图像文本对的图像目标计数方法,其特征在于,局部增强多头自注意力机制的输入特征分别经过通道注意力分支、多头自注意力分支和空间注意力分支后,得到通道增强特征、自注意力增强特征和空间增强特征;将通道增强特征、自注意力增强特征和空间增强特征相加后得到局部增强多头自注意力机制的输出特征。
6.根据权利要求5所述的一种基于图像文本对的图像目标计数方法,其特征在于,局部增强多头自注意力机制的输入特征经过通道注意力分支,得到通道增强特征,包括:通道注意力分别在输入特征的高度和宽度维度上进行最大池化和平均池化,得到两个特征权值;将所述两个特征权值相加,再与输入特征进行点乘,得到通道增强特征。
7.根据权利要求5所述的一种基于图像文本对的图像目标计数方法,其特征在于,局部增强多头自注意力机制的输入特征经过多头自注意力分支,得到自注意力增强特征,包括:局部增强多头自注意力机制的输入特征的大小为,其中B表示批次大小,C表示通道,H表示高度,W宽度;
首先将局部增强多头自注意力机制的输入特征转换为大小为的三维序列,再将和两个维度交换,转换为大小为的三维序列,作为多头自注意力机制的输入特征;
多头自注意力机制的输入特征经过多头自注意力机制后,得到大小为的输出特征;
将该输出特征的与两个维度交换,再次转换为大小为的三维序列;最后将该三维序列转为大小为的特征图,得到自注意力增强特征。
8.根据权利要求5所述的一种基于图像文本对的图像目标计数方法,其特征在于,局部增强多头自注意力机制的输入特征经过空间注意力分支,得到空间增强特征,包括:空间注意力分别在输入特征的通道维度上取最大值和平均值,得到两个特征权值;将所述两个特征权值相加,再与输入特征进行点乘,得到空间增强特征。
9.一种基于图像文本对的图像目标计数装置,其特征在于,包括:
编码模块,用于将原始图像输入图像编码器,输出图像编码;将原始图像中待计数的目标类别的文本输入文本编码器,输出文本编码;
特征融合模块,用于将文本编码和图像编码输入至文本图像增强模块,输出目标融合特征,包括:
将文本编码和图像编码输入至文本图像增强模块的第一特征增强模块,得到第一增强特征,包括:将图像编码作为第一局部增强多头自注意力机制的输入特征,得到第一图像增强特征;将文本编码和第一图像增强特征输入至第一交叉注意力机制,其中文本编码作为查询,第一图像增强特征作为键和值,输出第一文本图像融合特征;将第一文本图像融合特征输入至第一多层感知机,得到第一增强特征;
将第一增强特征经过卷积层和上采样层后,输入至文本图像增强模块的第二特征增强模块,得到第二增强特征,包括:将第一增强特征经过卷积层和上采样层后,输入至第二特征增强模块的第一局部增强多头自注意力机制,得到第二图像增强特征;将文本编码和第二图像增强特征输入至第二交叉注意力机制,其中文本编码作为查询,第二图像增强特征作为键和值,输出第二文本图像融合特征;将第二文本图像融合特征输入至第二多层感知机,得到第二增强特征;
将第一增强特征和第二增强特征输入至文本图像增强模块的特征融合模块,第一增强特征和第二增强特征相加后依次经过两个上采样子模块,得到目标融合特征;
其中,每个特征增强模块包括依次连接的局部增强多头自注意力机制、交叉注意力机制和多层感知机;所述局部增强多头自注意力机制为三分支结构,包括通道注意力分支、多头自注意力分支和空间注意力分支;
预测模块,用于将目标融合特征输入至解耦头,解耦头的回归头输出个体的预测点的坐标,解耦头的分类头输出每个预测点的类别置信度;根据预测点的类别置信度判断预测点是否属于目标类别,若是,则输出该预测点的坐标和类别置信度,进而得到属于目标类别的个体的总数。