1.一种基于弱监督学习的用户性格预测装置,其特征在于:它包括弱监督学习网络和测试单元,弱监督学习网络包括分类网络和回归网络;分类网络包括分类转化单元(201)和分类训练单元(202),回归网络包括局部性格激活单元(203)和回归训练单元(204),测试单元为用户性格测试单元(205),分类网络获取用户的不同性格类别在其偏好图像中的局部关注区域,回归网络用于对用户大五性格维度数值进行预测,测试单元用于对所述弱监督学习网络进行用户的大五性格维度数值预测;
分类转化单元(201)包括顺序连接的提取模块(2011)、计算模块(2012)和归一化模块(2013);提取模块(2011)对大五性格维度的高低提取十种性格分类,计算模块(2012)根据大五性格维度数值大小与中值差异大小计算十种性格分类强度;归一化模块(2013)保证十种性格分类的概率之和为单位1;
分类训练单元(202),包括顺序连接的分类训练模块(2021)、单性格类激活图模块(2022)和多性格类激活图模块(2023),分类训练模块(2021)对大量的用户偏好的图像进行分类训练,并利用单性格类激活图模块(2022)提取每种性格分类的激活图,多性格类激活图模块(2023)根据每种性格分类激活图和其分类概率加权得到多性格的类激活图;
局部性格激活单元(203),将分类训练得到的多性格的类激活图和图像的全局性格特征图进行叠加,得到图像的局部性格特征图;
回归训练单元(204),包括相互连接的特征图组合模块(2041)和回归训练模块(2042),特征图组合模块(2041)对局部性格特征图和全局性格特征图进行组合,并进行全局平均池化得到回归特征向量,回归训练模块(2042)根据所述的回归特征向量和大五性格维度数值全连接进行训练,得到训练模型,对局部性格激活单元(203)获得的全局性格特征图和局部性格特征图进行回归训练,得到用户性格预测模型;
用户性格测试单元(205),利用测试用户偏好的图像通过性格预测模型来预测用户的大五性格维度数值。
2.一种使用权利要求1所述基于弱监督学习的用户性格预测装置的基于弱监督学习的用户性格预测方法,其特征在于步骤如下:利用调查问卷获取用户的大五性格,包括开放性、责任性、外向性、亲和性和神经质维度数值,用以描述五种性格强度的数值,将大五性格维度数值转化成用于分类训练的分类标签,分类网络使用分类标签进行监督训练;
根据用户的大五性格维度数值的高低可以将用户的大五性格转化为十种性格分类,十种性格分类为五种高类:高开放性、高责任性、高外向性、高亲和性和高神经质,和五种低类:低开放性、低责任性、低外向性、低亲和性和低神经质;
把社交媒体上用户标记为喜欢的一些图像作为用户的偏好图像经过深度卷积神经网络,取卷积层的最后一层作为全局性格特征图,在分类网络中将全局性格特征图分别进行全局最大池化GMP和全局平均池化GAP操作得到两组特征向量,并把两组特征向量进行级联组合得到分类特征向量,然后通过全连接的方式把分类特征向量和需要预测的用户十种性格分类利用全连接操作进行加权连接,同时利用转化得到十种性格分类结果的监督下进行分类网络训练;
然后利用分类网络获取的用户在其偏好图像的多性格类激活图得到对应图像的局部性格特征图,将局部性格特征图和对应的全局性格特征图进行串联组合,并利用全局平均池化GAP得到用户在其偏好图像的回归特征向量,然后通过全连接的方式将回归特征向量和需要预测用户的大五性格维度数值进行连接,并在用户的大五性格维度数值监督下进行回归网络训练;
通过大量用户的偏好图像利用所述的弱监督学习网络中的分类网络和回归网络同时进行训练,从而获得训练完成的性格预测模型,再将提取到的测试用户偏好的每幅图像输入性格预测模型,即可得到每幅图像对应的大五性格预测结果,综合每幅图像的预测结果从而得到用户的大五性格维度数值。
3.如权利要求2所述的基于弱监督学习的用户性格预测方法,其特征在于,所述用户的大五性格维度数值转化成十种性格分类的具体步骤包括:用户的大五性格维度数值利用BFI‑10调查问卷得到,每种性格维度的数值范围在[‑4,4]之间,为了便于计算将所述的用户的大五性格维度数值归一化到[0,1]之间得到5维性格向量的数值;
将所述5维性格向量数值减去中值1/2并通过Relu激活函数得到5个高性格向量,将1/2与5维性格向量的差值并通过Relu激活函数得到5个低性格向量,然后串联组合高性格向量和低性格向量得到十个分类性格特征向量,将所述的十个分类性格特征向量经过softmax激活函数得到最终十种性格分类,保证每个用户的十种性格分类概率之和为1;转化公式如下:
式中: 为用户的大五性格维度数值, 为用户的十种性格分类。
4.如权利要求2所述的基于弱监督学习的用户性格预测方法,其特征在于:所述分类特征向量通过softmax激活函数并和十种性格分类进行全连接操作,并计算十种性格分类预测结果和真实结果之间的交叉熵作为损失函数进行分类网络训练,损失函数Lc的计算公式为:
式中:N为训练用户数量,M为每个用户偏好图像数量,Ci,j为用户转化得到的十种性格分类真实结果, 为分类网络预测结果,通过最小化损失函数进行分类网络训练。
5.如权利要求3所述的基于弱监督学习的用户性格预测方法,其特征在于,所述局部性格特征图的计算具体步骤包括:
在分类网络训练过程中的分类特征向量通过加权连接得到十种性格分类的预测结果,然后获取分类特征向量和每种性格分类之间连接权重,利用每种性格分类的连接权重和对应分类特征向量在全局平均池化和全局最大池化前的卷积层中的特征图进行加权叠加得到每种性格的类激活图,将所述的十种性格分类的预测结果和每种性格的类激活图进行加权求和得到多性格类激活图;将所述的用户在其偏好图像中多种性格类激活图与对应图像的全局特征图在回归网络中进行对应位置相乘得到局部性格特征图,局部性格特征图可以有效地提取图像中十种性格分类关注的局部区域。
6.如权利要求2所述的基于弱监督学习的用户性格预测方法,其特征在于:所述的回归特征向量通过sigmoid激活函数并和大五性格维度数值进行全连接操作,并计算大五性格预测结果和真实结果之间的欧式距离作为损失函数进行回归网络训练,损失函数Lr计算公式为:
式中:N为训练用户数量,M为每个用户偏好图像数量, 为大五性格预测结果, 为大五性格真实结果,通过最小化损失函数进行回归网络训练。