1.基于编码‑解码端的图像对差异描述方法,其特征在于:所述方法的具体步骤如下:Step1、利用预训练好的卷积神经网络作为特征提取器,将变化前/后的图像送入特征提取器中获得两张图像的视觉特征;
Step2、通过语意‑位置提纯器来对每张图像内语意交互和位置关系的建模,从而深度理解图像的细粒度信息;
Step3、获取图像间的差异表征:利用分层匹配机制区分出是真实变化还是视觉/光照变化并且捕获细小的变化过程,获得准确的差异表征;
Step4、将差异表征送入解码器中,解码出能够描述两张图像之间的差异的自然语言句子;
所述Step2的具体步骤:
Step2.1、对图片中特征之间的相对位置进行编码:对图像的相对左上角和右下角的坐标进行编码得到特征的相对位置坐标;
Step2.2、通过在原始图像特征中注入绝对位置信息,物体的变化被敏感地分辨出来;
对图像中的每个特征分配了一个有顺序的固定值来表示每个特征的绝对位置;
Step2.3、基于自注意力机制,整合位置和语意关系得到细粒度信息,这种信息能成为区分真实变化和视觉/光照变化的先验知识;
所述Step3的具体步骤为:
Step3.1、首先匹配变化前和后图像的共同特征,即通过前/后图像扫描后/前图像以获得共同特征;
Step3.2、利用检查再匹配模块将变化前/后的图像视为参照源,通过细化共同特征使微小的变化变得突出。
2.根据权利要求1所述的基于编码‑解码端的图像对差异描述方法,其特征在于:所述Step1中包括:为了得到视觉特征,使用预训练好的ResNet‑101作为特征提取器来获取图像的网格特征。
3.根据权利要求1所述的基于编码‑解码端的图像对差异描述方法,其特征在于:所述Step2.2中,具体来说使用不同频率的正弦和余弦函数来编码绝对位置。
4.根据权利要求1所述的基于编码‑解码端的图像对差异描述方法,其特征在于:所述Step4的具体步骤为:Step4.1、空间注意力定位变化前和后图像中的差异,并将其输出送入基于从上往下的LSTM句子解码器,生成能够描述变化的自然语言;
Step4.2、通过最小化得到的单词序列的负可能性来联合训练编码和解码器。