1.一种基于层叠泛化和代价敏感学习的社交网络链路异常预测方法,其特征在于,包括以下步骤:
S1,获取社交网络节点数据,将获取的社交网络节点数据中的相似性指标作为基模型学习的特征;其相似性指标包括CN,Sal,Jac,Sor,HPI,HDI,LHN‑I,PA,AA,RA,LP,Katz,ACT,Cos以及RWR之一或者任意组合;
S2,确定基模型的超参数;基模型包括Logistic Regression模型和LightGBM模型;在LightGBM模型中包括:对分割特征j的分割点d定义为:其中,
I[]表示方差增益;
d表示特征分割点; 表示分割点左边的方差增益, 则表示分割点右边的;
xij表示第xi个样本的第j个特征;
o表示某个固定节点的训练集;
gi表示第i次梯度迭代的负梯度方向;
遍历每个特征的每个分割点,找到 并计算最大的信息增益 然*
后,将数据根据特征j的分割点 将数据分到左右子节点;
在基模型训练完成后,引入Stacking方法集成Logistic Regression模型和LightGBM模型;
S3,对基模型的预测结果进行重新学习;得到最终的预测结果。
2.根据权利要求1所述的基于层叠泛化和代价敏感学习的社交网络链路异常预测方法,其特征在于,在步骤S1中Logistic Regression模型包括:给定数据集D=(x1,y1),(x2,y2),(x3,y3),……,(xN,yN),其中, yi∈{0,1};当yi=0时,yi表示负类;当yi=1时,yi表示正类;i=1,2,3,…,N; 表示样本特征空间,n表示各个样本的特征个数;N表示数据集D中样本的个数;
T
由于wx+b取值是连续的,其中w表示列向量,维度为(n,1);T表示转置;x表示列向量,维度为(n,1);b表示列向量,维度为(1,1);因此它不能拟合离散变量,用它来拟合条件概率PT
(Y=1|x);对于w≠0,wx+b取值为实数R,不满足概率取值为0到1,因此采用广义线性模型;
由于单位阶跃函数不可微,对数几率函数是一个替代函数:于是有:
若y为x取正例的概率,则1‑y为x取反例的概率;两者比值称为几率odds,指该事件发生与不发生的概率比值,若事件发生的概率为P,则对数几率:将y视为类后验概率估计,重写公式有:也就是说,输出Y=1的对数几率是由输入x的线性函数表示的模型,这就是逻辑回归模T
型;当w+b的值越接近正无穷,P(Y=1|x)概率值也就越接近1;因此,先拟合决策边界,再建立这个边界与分类的概率联系,从而得到了二分类情况下的概率;
逻辑回归模型的数学形式确定后,求解模型中的参数;在统计学中,使用极大似然估计法求解,即找到一组参数,使得在这组参数下,数据的似然度最大;令:损失函数
p(xi)表示第i个样本在已知特征为xi的情况下的为正类(Y=1)的概率;
yi就是二分类问题给定数据集D中的,即是yi=y1,y2,y3,…,yn,yi∈{0,1};
为了求解,对等式两边同取对数,写成对数似然函数:在机器学习中有损失函数的概念,其衡量的是模型预测错误的程度;取整个数据集上的平均对数似然损失,可以得到:其中,N表示数据集D中样本的个数;
即在逻辑回归模型中,最大化似然函数和最小化损失函数是等价的;
求解逻辑回归的方法有非常多,这里使用梯度下降法;优化的目标是找到一个方向,参数朝这个方向移动之后使得损失函数的值能够减小,这个方向由一阶偏导或者二阶偏导各种组合求得;逻辑回归的损失函数是:梯度下降是通过J(w)对w的一阶导数来找下降方向,并且以迭代的方式来更新参数,更新方式为:
表示第i个样本权重参数的第k次迭代更新后的权重参数;
α表示学习率,表示1次参数迭代更新的快慢;
表示第i个样本权重参数的第k+1次迭代更新后的权重参数;
wi表示第i个样本的权重参数。
3.根据权利要求1所述的基于层叠泛化和代价敏感学习的社交网络链路异常预测方法,其特征在于,在步骤S2中,确定基模型中超参数的方法包括交叉验证、网格搜索、早停法之一或者任意组合。