1.基于半监督模糊综合评价法的网络机器人行为检测方法,其特征在于,包括以下步骤:步骤1、Web会话识别:从原始Web访问记录中提取、聚合、排序并切割得到Web会话;
步骤2、Web访问行为特征提取:从每个IP访问的会话内部和会话间分别提取行为特征,实现对用户Web访问行为的刻画;
步骤3、基于半监督模糊综合评价法的模型训练:依据已标记训练数据集的分布特性自动构建模糊综合评价的隶属函数和权重,然后通过自监督迭代式评估,将置信度高的未标记样本纳入训练集中,以此提升隶属函数的准确度和模型整体性能;
步骤3中,基于半监督模糊综合评价法的模型训练包括以下步骤:步骤3.1、给定数据集 ,其中 代表有标签数据集,其中 为其中第i个样本, 为该样本特征向量, 为其标签;
代表待测试的无标签数据集, 为其中第i
个样本;
步骤3.2、在LD数据集上进行模糊综合评价法的模型训练工作,通过统计数据分布特性,自动构建模糊综合评价的隶属函数和权重;
步骤3.3、训练结果在UD上进行预测,得到 ,其中中的 表示预测类别,表示将 预测为 的置信度;
步骤3.4、从PD中提取置信度高于阈值delta的样本 ,然后与LD合并为新的LD’替代LD;
步骤3.5 、重复上述步骤,直到迭代到设定的最大次数N或模型预测准确率不再提升;
步骤4、网络机器人行为检测。
2.根据权利要求1所述的基于半监督模糊综合评价法的网络机器人行为检测方法,其特征在于,步骤1中,Web会话识别包括以下步骤:步骤1.1、预设访问IP的Web访问序列提取:令 为某个srcip的按时间先后排序过的Web访问序列,srcip表示Web访问者的ip,其中 为第i条web日志记录;
步骤1.2、根据时间间隔对序列Re进行切割,假设切割阈值为delta,若Re内相邻的2条记录 和 的时间间隔超过delta,则对序列Re进行一次切割;经过切割处理后,序列Re被切割为多段序列,每段序列表示一条切割好的Web会话,进而将Web访问序列Re转换为会话序列 ,其中 表示其中第i条Web会话;
步骤1.3、参考步骤1.1‑步骤1.2,对全体访问IP的Web访问记录进行提取,得到每个访问IP的会话序列。
3.根据权利要求1所述的基于半监督模糊综合评价法的网络机器人行为检测方法,其特征在于,步骤2中,Web访问行为特征提取包括以下步骤:步骤2.1、会话内行为特征提取:如果会话序列中包括多条Web会话,则求下列特征的均值;
步骤2.1.1、使用Cookie指数:使用Cookie的HTTP请求占比;
步骤2.1.2、使用Referer指数:包含Referer信息的HTTP请求占比;
步骤2.1.3、脚本使用指数:HTTP请求记录中JS资源占比;
步骤2.1.4、每个会话请求的资源数:会话内访问的资源数;
步骤2.1.5、每个会话的资源类型复杂的指数:将请求的资源类型分为主页面、JS类型、CSS类型、图片类型、文件类型、其他类型,统计会话内各类资源的占比,然后根据信息熵计算复杂指数;
步骤2.2、会话间行为特征提取;
步骤2.2.1、会话间隔时间:各相邻Web会话之间的时间间隔均值;
步骤2.2.2、会话间隔方差系数:各相邻Web会话之间的时间间隔方差;
步骤2.2.3、访问路径深度方差:每条Web会话访问的URL路径深度的方差;
步骤2.2.4、访问页面重复率:Web会话主页面的重复率;
步骤2.2.5、访问网站的有序性:Web会话序列中Host交叉访问统计情况的信息熵。
4.根据权利要求1所述的基于半监督模糊综合评价法的网络机器人行为检测方法,其特征在于,步骤3.2中,模糊综合评价法过程如下:步骤3.2.1、建立因素集,设 ,其中 为第i个因素;共十个因素分别为会话内和会话间共10个行为特征,即m=10;
步骤3.2.2、建立评语集,设 ,是评价者对被评价对象做出的各种总的评价结果组成的评语等级的集合;其中 代表第j个评价结果,j=1, 2, …, n,n为总的评价结果数;设计2个等级用于表示网络机器人的检测评估结果,即n=2,分别为:H、R,H表示人类用户,R表示网络机器人;
步骤3.2.3、对每个因素进行分箱, ,假设每个因素分为L段,则分箱 , 表示第k个因素进行分箱的结果, 表示 中第i个分箱结果,其中h和r分别表示落在该分箱中的H和R样本的占比;
步骤3.2.4 、基于分箱结果 统计计算每个因素的隶属函数,对 中的h、r进行归一化,得到在该分箱的隶属度;对于第k个因素 ,其隶属函数表示为,其中 表示 中第i个分箱的隶属度;对所有因素进行如上处理,进而得到整体的隶属函数;
步骤3.2.5 、统计计算模糊权矢量A,即每个因素的权重;通过机器学习特征有效性度量方法对特征的重要性进行量化评估,并作为模糊综合的权重。
5.根据权利要求4所述的基于半监督模糊综合评价法的网络机器人行为检测方法,其特征在于,步骤4中,网络机器人行为检测包括以下步骤:步骤4.1、提取隶属度;
根据样本特征值落在分箱中的情况,基于隶属函数MB分别提取属于H和R的隶属度;对于第k个因素 ,假设该样本在 的特征值分箱后落在第i个分箱,则从 中提取出,作为该样本在 因素方面,对H、R这2个评价集的隶属度,即 ,其中 , ;
步骤4.2、确立模糊关系矩阵G;
通过步骤4.1逐个对被评价对象从每个因素 上进行量化,也就是确定从单因素来看被评价对象对各等级模糊子集的隶属度,进而得到模糊关系矩阵:,
其中 表示某个被评价对象从因素 来看对等级模糊子集元素 的隶属度; 称为单因素评价矩阵,看作是因素集U和评语集V之间的一种模糊关系;
步骤4.3、多指标综合评价;
利用模糊合成算子将模糊权矢量A与模糊关系矩阵G合成得到各被评价对象的模糊综合评价结果矢量B;模糊综合评价结果矢量的模型为:,
其中 表示合成算子, 表示被评价对象从整体上看对评价等级模糊子集元素 的隶属程度,在检测时,值最大的评价结果代表该样本的检测结果。