1.一种基于用户风格和场景偏好的服装搭配推荐方法,其特征在于,包括如下步骤:
步骤一:数据收集:收集电商网站上的服装类别商品的文本和图像数据,为数据集A;收集专家套装搭配数据作为数据集B;收集用户历史行为数据归为数据集C;
步骤二:对数据集A中服装商品数据进行聚类分析,根据服装的不同种类进行聚类形成上衣类、下衣类和鞋子类,将商品的图像通过卷积神经网络进行视觉特征提取;
步骤三:将数据集B中的服装套装按照不同种类风格进行分类,并进行风格标签标注;
在数据集B中,每个服装套装中包含上衣ti,下衣bj,以及鞋子sk,每个物品都具有图像以及相应的文本描述;
步骤四:对数据集C进行分析处理,根据用户历史行为数据来学习用户的潜在偏好,得到用户隐式反馈中的正反馈,正反馈包括购买和点击;使用U来表示数据集中的用户集合,I表示服装产品的集合,I∈U+,U+表示用户表达正反馈的所有产品的集合,i∈I表示服装产品数据集中的某一件产品i,Ai则表示产品i所对应的图像集合;
步骤五、对于用户表达过正反馈的产品集合I∈U+,定义一个用户偏好预测器,用于预测用户对于服装产品i的偏好,设为其中xu,i表示用户u对于服装产品i的偏好程度分数,α表示全局偏移量,βu表示用户偏差, 表示用户u的潜在视觉偏好向量,Xi表示服装产品i的图像, 表示视觉特征向量;
步骤六:得到正反馈的服装产品的偏好程度分数,并且根据标签分析每个正反馈的服装产品属于哪一类风格,筛选出同一类服装风格的商品,计算用户对每种服装风格的偏好程度分数;
步骤七:挑选出其中偏好程度分数最高的服装风格作为用户所偏好的服装风格,并从数据集A中选择与用户偏好的服装风格一致的服装商品,组成数据集P;
步骤八:使用数据集P训练得到上衣ti,下衣bj,以及鞋子sk的视觉兼容性关系;
步骤九:通过视觉兼容性关系将数据集P中的商品组合成推荐套装并给出服装兼容性匹配度,推荐套装包括上衣,下衣和鞋子;根据客户输入的季节和出席场合在专家搭配集M中的符合季节和场合条件的十套服装套装并推荐给客户作为挑选集,用户在挑选集中选择一套套装作为挑选样板;从数据集P中分别筛选出a与挑选样板中的上衣、下衣和鞋子的相似度最高的前a件项单品,将所选择的单品进行任意组合形成推荐套装并计算出服装兼容性匹配度,选择服装兼容性匹配度最高的前b项推荐套装推荐给用户。
2.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法,其特征在于,所述步骤六中,每种服装风格的偏好程度分数计算方法如下:其中,F是偏好风格分数,N是用户表达正反馈的产品数,xu,n是同一类服装风格的每个产品的偏好程度分数,n是每种服装风格包含的产品数。
3.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法,其特征在于,所述步骤八包括如下步骤:根据步骤七中用户偏好的服装风格,从专家搭配数据集中选择与用户偏好的服装风格相一致的服装搭配套装组成一个数据集M;首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量;将数据集M中的一套服装搭配看作一个集合,一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列;然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品,学习集合中两个商品之间的视觉兼容关系,视觉兼容关系即作为视觉性兼容关系。
4.如权利要求3所述的基于用户风格和场景偏好的服装搭配推荐方法,其特征在于,所述步骤八包括如下步骤:S1.根据步骤七中用户偏好的服装风格,从专家搭配数据集中选择与用户偏好的服装风格相一致的服装搭配套装组成一个数据集M;首先采用CNN模型将数据集M中的每个套装集合中的物品图像转换成图像特征向量;将数据集M中的一套服装搭配看作一个集合,一套服装搭配中的一件上衣、一件下衣和一双鞋子看成一个固定的序列;然后通过单层双向LSTM模型训练按照顺序根据一套服装搭配中前面的服装商品为条件来预测下一个商品,学习集合中两个商品之间的视觉兼容关系,视觉兼容关系即作为视觉性兼容关系;其中单层双向LSTM模型按照按照上衣-下衣-鞋子的顺序或鞋子-下衣-上衣的顺序来进行预测:其中上衣-下衣-鞋子的顺序预测方法如下:Ef(F;θf)表示目标函数;F表示服装商品图像序列,即F={x1,x2,...,xn};xt表示一套服装搭配中的第t个商品的特征表示;θf表示前向预测模型的模型参数;N表示一套服装搭配中的商品数;Pr(xt+1|x1,...,xt;θf)表示第xt+1个商品以先前看到的x1至xt个商品为条件的预测概率;f表示“front”,即从上到下的顺序;
Eb(F;θb)表示目标函数;F表示服装商品图像序列,即F={xN,xN-1,...,x0};xt表示一套服装搭配中的第t个商品的特征表示;θb表示后向预测模型的模型参数;N表示一套服装搭配中的商品数;Pr(xt|xN,...,xt+1;θb)表示第xt个商品以先前看到的xN至xt+1个商品为条件的预测概率;b表示“back”,即从下到上的顺序;
S2.训练视觉语义嵌入:将图像特征向量及与对应图像特征向量相关的文本描述投射到一个协同空间来训练视觉语义嵌入;
Ee(θe)=∑f∑kmax(0,m-d(f,v)+d(f,vk))+∑v∑kmax(0,m-d(v,f)+d(v,fk))其中d(f,v)和d(v,f)表示用图像f和其描述v之间余弦距离来表示这两者之间的相似性,f表示图像,v表示描述v;θe={WI,WT}表示模型参数,WI表示图像嵌入矩阵,WT表示描述嵌入矩阵,vk表示图像f的非匹配描述,fk表示描述v的非匹配图像;通过最小化损失函数Ee(θe),使得图像语义属性和文本描述之间最为接近;
S3.联合学习建模:综合图像特征向量及对应的文本描述,共同学习视觉兼容性和视觉语义嵌入,将视觉兼容性和视觉语义嵌入结合到Bi-LSTM的训练过程当中,预测出服装套装的视觉兼容性关系;Bi-LSTM总体目标函数如下:
“/”表示“或”,Ee(θe)表示计算视觉语义嵌入损失。
5.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法,其特征在于,所述用户历史行为数据包括点击、浏览和购买;所述电商网站包括淘宝和ployvore;
收集天池(https://tianchi.aliyun.com/)所提供的搭配专家和达人生成的搭配组合数据以及ployvore网站上用户上传的搭配套装数据,为数据集B。
6.如权利要求1所述的基于用户风格和场景偏好的服装搭配推荐方法,其特征在于,所述正反馈包括购买和点击。