1.一种基于图像识别的商品推荐方法,其特征在于:所述方法包括如下步骤:
步骤1:线下商品销售场所通过视频获取每个客户对商品的关注视频信息;
步骤2:根据线下商品销售分区进行将视频分为若干个视频段;
步骤3:从每个视频段中获取若干个标记图;
步骤4:将每个客户的标记图进行汇总得到客户意向商品图;
步骤5:构建三阶学习神经网络模型;
步骤6:将标记图输入到三阶学习神经网络模型识别得到每个客户关注的商品和关注商品细节信息;
步骤7:从线上与线下商品销售场所相关的平台进行将商品推荐给相应的客户;
步骤5的具体过程为:
步骤5.1:设置感知机进行对图像节点分类,使用两层MLP进行图像节点分类,第一层激活函数为ReLU,并使用归一化层和Dropout防止过拟合,第二层激活函数未Softmax,将图像节点表述转化未类别预测的概率,表达式如下:Z=Dropout(LN(σ(XW0))
其中X是原始的图像节点表示,σ()表示激活函数,在第一层神经网络中,使用ReLU,LN()表示层归一化操作,而Dropout()表示随机丢弃神经元,两个操作共同作用,防止过拟合的情况发生,使得模型具备更好的泛化能力,而W0,W1表示两层神经网络的可训练参数,将输入图像节点表示映射到不同类别的预测概率,也就是Y,获得预测结果;
步骤5.2:设计第一级对比学习模块进行引入更多的连边信息,以增强对比学习的效果,第一级对比学习模块为边级对比学习模块,通过多跳图的构建引入更多的连边信息,基于以下规则构建多跳图:在多跳图的构建中,如果图像节点a是图像节点b的邻居,同时图像节点c是图像节点b的邻居,认为图像节点a是图像节点c的邻居,并建立连边,更多的边信息被引入对比学习,提升图像节点预测的准确性;
边级对比学习的损失函数定义如下:
其中,B表示批量大小,表示图像节点i的邻居集合,sim(zi,zj)表示图像节点i和j的相似度,τ为温度参数,在多跳图中,如果两个图像节点间存在连边,就会使它们的表示更为接近,即相似性sim(zi,zj)增大,通过边级对比学习,相似的图像节点会更加聚拢,而不相似的图像节点会相互远离,对比学习方式能够使图像节点的分布更加紧致,从而使分类器的决策边界更加清晰,最终有效提升预测准确性;
步骤5.3:设置第二级对比学习模块进行生成扰动后的特征表示,进一步优化图像节点分类的决策边界,第二级对比学习模块为特征级对比学习模块,通过利用Dropout的随机性对图像节点表示进行扰动,以强化模型的稳定性,具体公式如下:Z+=Dropout(LN(σXW0))
其中Z+为通过Dropout生成的扰动图像节点表示,此外,Z+和Z形成一个对比学习样本对,用以下损失函数维持模型训练的稳定性:其中损失函数的目标是通过约束原始表示Z和扰动后表示Z+的相似性,增强模型的稳定性和鲁棒性,即使在图像节点特征受到扰动的情况下,模型仍能够保持输出结果的可靠性;
步骤5.4:设置第三级对比学习模块引入图像节点顺序扰乱的方式,实现全局信息的学习,而无需增加额外的参数,有效控制模型复杂度,第三级对比学习模块图像节点级对比学习模块,具体过程如下:Z-=shuffle(Z)
其中,shuffle()表示对图像节点顺序进行扰乱操作,生成负样本Z-,在对比学习中,通过约束图像节点表示Z和扰乱后的图像节点表示Z-的相似度,达到让两者相互远离的目标;
图像节点级对比学习的损失函数定义为:
存在两种情况,第一种为不同类别的图像节点:当扰乱后的图像节点来源于不同类别时,显然它们应该相互远离,增强类别间的区分,第二种为同一类别的图像节点:即使扰乱后的图像节点来源于同一类别,仍要求远离,这是因为每个图像节点都有其独特的特性,通过远离同类别的其他图像节点,模型不仅能捕获类别间的共性,还能挖掘图像节点本身的识别性信息;
步骤5.5:设计总损失函数对神经网络进行训练,总损失函数如下:
lfinal=lce+αledge+βlfeature+γlnode
其中α,β,γ为三个可调节超参数,可通过调节这三个参数,平衡不同损失项在模型训练过程中的作用,完成模型构建。
2.根据权利要求1所述的一种基于图像识别的商品推荐方法,其特征在于:步骤1的具体过程为:在线下商品销售的场所安装客户行为视频摄像头,获取客户在商品销售场所的选购商品的行为和语音,其中视频摄像头根据客户的数量和位置进行实时的定位和跟踪,获取的视频包括客户选购商品和讨论商品的过程,然后将视频与语音同时获取,得到了客户在线下商品销售的场所的整个选购商品的过程视频。
3.根据权利要求1所述的一种基于图像识别的商品推荐方法,其特征在于:步骤2的具体过程为:以客户为线索,客户进入到线下商品销售场所为开始,然后离开线下商品销售场所后为视频结束,根据客户所处的每个商品销售区进行将视频分为不同的视频段,然后视频段的标题为客户信息和商品的分区信息,将相同商品分区内的视频进行汇总到一组,得到根据商品分区的视频段组,然后把所有用户的视频段组进行汇总得到根据不同商品分区的视频段集合。
4.根据权利要求1所述的一种基于图像识别的商品推荐方法,其特征在于:步骤3的具体过程为:视频标记中,以单件商品为最小单位,从客户注目到的某件商品到客户完全离开相应的商品后为一个截图段,根据动作进行截取不同的视频截图,然后读取相应的语音的信息识别为文字,然后将截图的图片和语音文字信息作为标记图,把截图的图像进行动作示意标记,得到客户的商品关注图像数据集,通过后期对客户关注商品的动作图像、注目图像和语音信息进行识别,得到客户关注某件商品的具体关注点,已经购买的商品的,得到购买的理由和需求点,如果还没有购买得到客户关注商品的详细特征不满足要求、价格不满足或者自身需求还没得,如果客户在逛线下商品销售场所时没有注目到某件商品的视频进行丢弃。
5.根据权利要求1所述的一种基于图像识别的商品推荐方法,其特征在于:步骤6中,以客户关注一个商品为最小识别单位,把一个商品相关的标记图和语音信息输入到三阶学习神经网络模型中,把客户的动作和眼睛注目作为识别图像节点,然后进行图像识别,将图像特征进行分类,然后进行预测客户的动作对商品的关注点为哪些,通过模型输出客户的每个动作识别出对商品价格、尺寸、功能、外观、颜色、款式和自身需求的关注;
当客户查看商品价格信息后,没有购买,则是确定商品价格为客户的一个关注点,则当商品价格变动时,作为相应客户的主要推荐点,当客户查看商品详细信息后,没有购买,则确定商品信息还不能完全满足客户,当出现相似商品或者更新换代后的商品时,将相似商品或者更新换代后的商品推荐给客户,如果客户购买了商品后,识别客户信息与购买的商品的信息,确定相应类别的客户有需求为购买相应或者相关的商品,进行推荐给相应类别的客户,当用户查看或者关注的商品没有价格和迭代商品时,将客户关注的商品或者查看的商品作为推荐商品给客户。
6.根据权利要求1所述的一种基于图像识别的商品推荐方法,其特征在于:步骤7中,商家将设置相应的小程序或者视频,将需要推荐的商品推到客户的手机或者电脑上。
7.一种电子设备,其特征在于:包括视频获取器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如权利要求1-6中任一项所述的基于图像识别的商品推荐方法中的步骤。
8.一种计算机可读存储介质,其特征在于:计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于图像识别的商品推荐方法中的步骤。
9.根据权利要求1-6任意一项所述的一种基于图像识别的商品推荐方法的应用,其特征在于:应用于线下所有商品销售的商品进行线上推荐,包括百货超市商品推荐、服装店商品推荐、电器超市商品推荐和金店商品推荐。