欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103281913
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种商品图像检索方法,其特征在于,主要包括以下步骤:

步骤S1、建立商品样本图像识别模型,根据带有多语义尺度标签信息的商品样本图像,训练深度卷积神经网络;

步骤S2、将经过标注的商品样本图像经过数据增强操作后,输入深度卷积神经网络的卷积层进行特征提取,获取商品样本图像在细粒度级别的深层特征;

步骤S3、指定深度卷积神经网络作为主干网络,复制深度卷积神经网络并形成两个分支网络,设置协同注意力模块连接两个分支网络并形成第三分支,协同注意力模块的输出经过全局池化操作之后作为商品样本图像识别模型最终输出的特征向量;

步骤S4、将特征向量经过Softmax层输出得到商品类别采样概率,并计算损失函数值,以损失函数最小化为优化目标通过梯度反向传播算法更新模型的参数值;

步骤S5、循环步骤S2‑S4直到达到深度卷积神经网络训练所预先设置的条件。

2.根据权利要求1所述的商品图像检索方法,其特征在于:步骤S1中,所述深度卷积神经网络包括残差网络,所述残差网络由若干个卷积层或池化层组成的子网络模块构成,包括Stage‑0,Stage‑1,…,Stage‑4。

3.根据权利要求1所述的商品图像检索方法,其特征在于:步骤S2中,所述数据增强操作包括图像随机擦除、图像随机旋转和图像随机裁剪。

4.根据权利要求2所述的商品图像检索方法,其特征在于,步骤S3中,所述深度卷积神经网络的残差网络被分拆成双分支残差网络,具体分拆过程包括如下步骤:步骤S31、复制残差网络的主干网络的Stage‑4形成双分支网络;

步骤S32、将步骤S31的双分支网络的每一分支分别连接一个全局池化层和一个全连接层;

步骤S33、在步骤S31的双分支网络后并行连接一个协同注意力模块、全局池化层、全连接层形成第三分支,所述第三分支用于输出图像检索所需的特征向量。

5.根据权利要求4所述的商品图像检索方法,其特征在于:所述协同注意力模块包含空间注意力模块和一个通道注意力模块,将提取粗粒度级别特征 和提取的细粒度特征 输入所述协同注意力模块进行特征融合,先经过空间注意力模块得到一个中间特征 ,然后经过通道注意力模块得到最终用于商品图像检索的特征 ,经过空间注意力模块的具体计算方式为,

其中, 表示Softmax函数,查询 和键 是特征 分别

经过两个核大小为1×1的二维卷积层输出的特征,r为控制空间维数的超参数,值是由特征 的前两个维度直接合并得到, 为位置权重矩阵。

6.根据权利要求5所述的商品图像检索方法,其特征在于:根据空间注意力模块产生的中间特征 和特征 后两维合并得到的特征作为通道注意力模块的输入,具体计算方式为,

其中, , , 为空间权重矩阵,将 作为协同注意力模

块的最终输出并经过全局池化操作之后作为模型最终输出的特征向量。

7.根据权利要求4所述的商品图像检索方法,其特征在于:步骤S31中,复制残差网络的主干网络Stage‑4得到双分支的Stage‑4a和Stage‑4b,Stage‑4a和Stage‑4b的初始化权重参数设置为ImageNet预训练模型中Stage‑4的权重参数。

8.根据权利要求1所述的商品图像检索方法,其特征在于:步骤S4中,所述损失函数包括三部分,其中,第一部分和第二部分为第一分支Stage‑4a和第二分支Stage‑4b后连接的全连接层输出的类别信息与商品样本图像的标签信息所得到,第三部分为所述第三分支的协同注意力模块输出的特征经过池化和全连接分类器之后和图像的标签信息所得到。

9.根据权利要求8所述的商品图像检索方法,其特征在于:步骤S4中,所述损失函数为,其中,为商品样本图像的索引值, 、 分别为商品样本图像经过特征提取网络在Stage4‑a和Stage4‑b的输出特征进行全局池化操作之后得到的特征向量, 为所述第三分支的协同注意力模块输出特征进行全局池化操作之后得到的特征向量, 为交叉熵损失函数, 为Softmax函数, 和 分别是第个样本的粗粒度和细粒度类别标签,、 和 分别为对应特征后接全连接层的权重参数, 、 和 分别为三部分损失函数的权重参数。

10.根据权利要求1所述的商品图像检索方法,其特征在于,所述商品图像检索方法还包括测试步骤,主要包括以下步骤:步骤A1、获取查询图像和所有待查询图像;

步骤A2、将查询图像和所有待查询图像经过预先训练的特征提取网络得到查询图像和所有待查询图像的特征向量;

步骤A3、将查询图像经过模型的特征向量与所有待查询图像经过模型的输出特征向量进行相似度的计算;

步骤A4、根据步骤A3得到的相似度对所有待查询图像进行排序,最后得到若干待查询图像。