1.一种双通道多尺度的网络流量异常检测方法,其特征在于:所述方法包括以下步骤:
步骤1:数据预处理;使用CICFlowMeter对采集到的pcap文件进行特征提取,使用Python库中的数据处理函数对采集到的网络流量数据进行预处理,得到相应网络流量特征,并且对这些流量特征进行分类,得到空间特征以及时间特征;
步骤2:网络流量异常检测模型DMCG的构建与训练;
模型构建:使用PyTorch和Scikit-learn搭建由多尺度空洞卷积模块,双向门控循环单元模块以及自注意力模块构成的网络流量异常检测模型DMCG;
其中多尺度空洞卷积模块采用Scikit-learn库进行搭建,其中包括空洞卷积层、最大池化层和线性层;
双向门控循环单元模块以及自注意力模块基于PyTorch框架构建;
模型训练:提前设定好模型的训练轮次,将相应的空间时间特征分别输入至相应的通道进行训练;
训练过程:按比例将步骤1得到的空间特征和时间特征分为训练集和验证集,将训练集输入到模型中,利用多尺度空洞卷积模块对空间特征进行特征提取,提取后的特征经过最大池化层进行下采样以及数据降维,把不同尺度的空间特征进行聚合;把时间特征输入双向门控循环单元模块,捕捉其中的时序依赖和层次结构信息,随后通过自注意力机制,为序列中的每个时间步分配不同的权重,增强对重要时序特征的捕捉;将时间特征与空间特征进行聚合,再通过由两个线性层以及一个softmax函数组成的分类器,生成样本的类别概率,然后将预测结果与真实标签计算交叉熵损失,当损失低于最优模型时,则将当前模型保存为最优模型,当损失高于最优模型时,进行新一轮训练,利用早停机制,当训练的模型损失不再减少时停止训练;
步骤3:网络流量异常检测模型DMCG性能评价;采用精准率、召回率、F1分数的宏平均值作为模型的评价指标,评估模型的性能;
步骤4:网络流量的检测;使用CICFlowMeter工具从真实网络环境中采集网络流量,对采集的流量进行数据清洗,缺失值处理,归一化后,送入网络流量异常检测模型中进行检测。
2.根据权利要求1所述的一种双通道多尺度的网络流量异常检测方法,其特征在于:所述步骤1的具体操作为:步骤1.1:数据包解析:在某一时刻通过固定IP地址进行网络攻击,捕获网络流量数据包,得到pcap文件,通过CICFlowMeter对pcap文件进行解析,得到网络流量数据包的相关特征信息,同时通过对攻击者的IP地址进行标注,生成异常流量以及正常流量的真实标签,作为步骤1.2的输入;
步骤1.2:数据清洗:对步骤1.1得到的特征信息进行缺失值处理,归一化处理,得到用于训练网络流量异常检测模型DMCG的78维特征;
步骤1.3:时间空间特征划分:将处理后的特征信息划分为空间特征以及时间特征,作为步骤2的输入。
3.根据权利要求2所述的一种双通道多尺度的网络流量异常检测方法,其特征在于:所述步骤2的具体操作为:步骤2.1:数据样本加载:使用深度学习框架PyTorch 2.0,继承Dataset类,重载其__getitem__方法,将步骤1得到的78维特征进行分类,并且分别打包为大小为256的batch,作为步骤2.2与2.3的输入;
步骤2.2:空间特征通道模块构建:构造三个不同尺度的不同膨胀率的空洞卷积,卷积核大小分别为3,5,7,膨胀率分别为1,2,3;捕捉网络流量不同尺度上的信息,分别输出256×64大小的特征矩阵,通过拼接,变成256×192大小的特征矩阵,随后通过最大池化层和线性层进行整合,形成高层次的特征表示,并与时间特征进行融合;
空洞卷积的感受野公式如下所示:
k’=k+(k-1)*(d-1)
式中,k’表示空洞卷积后的卷积核等效大小;k表示卷积核大小;d表示膨胀率;
步骤2.3:时间通道模块构建:利用三层双向门控循环单元,每层的隐藏单元数为128;再通过自注意力机制为序列中的每个时间步分配不同的权重;相关公式如下:zt=σ(Wz·[ht-1,xt]+bz)
rt=σ(Wr·[ht-1,xt]+br)
式中,zt表示更新门;rt表示重置门;ht表示传递到下一时刻的隐藏状态;表示候选隐藏状态;σ表示sigmoid函数,通过这个函数将数据变为0-1范围的数值;Wz表示更新门的权重矩阵;Wr表示重置门的权重矩阵;Wh表示用于计算候选隐藏状态的权重矩阵;xt表示当前时刻t的输入;bz表示更新门的偏置向量,用于调整更新门计算中的线性变换结果;br表示重置门的偏置向量;bh表示重置门的偏置向量;Q表示当前时刻的流量数据或其特征变换后得到的查询向量;K表示由历史流量数据或其特征经过线性变换生成的向量;V表示包含实际流量信息或其特征的向量;表示代表K向量的维度的缩放;
步骤2.2与步骤2.3的输出作为步骤2.4的输入;
步骤2.4:模型训练:来自空间通道和时间通道的训练集的高层次特征被拼接成一个统一的特征向量,两个线性层按顺序堆叠,用于结合和转换统计特征与时间特征的拼接结果,第一个线性层扩展特征空间,第二个线性层将其降维到256维,将融合后的256维特征映射到输出空间,生成每个类别的概率分布,与真实标签进行比较,然后将预测结果与真实标签计算交叉熵损失,当损失低于最优模型时,将当前模型保存为最优模型,当损失高于最优模型时,则进行新一轮训练,利用早停机制,当训练的模型损失不再减少时停止训练。
4.根据权利要求3所述的一种双通道多尺度的网络流量异常检测方法,其特征在于:所述步骤2网络流量异常检测模型DMCG训练过程交叉熵损失的计算公式为:其中,yi表示样本i的label,正类为1,负类为0,pi表示样本i预测为正类的概率;Li表示第i个样本的损失。
5.根据权利要求4所述的一种双通道多尺度的网络流量异常检测方法,其特征在于:所述步骤3网络流量异常检测模型DMCG评价指标的计算公式为:其中,ACC表示准确率,P表示精准率,R表示召回率;TP表示异常流量被检测为异常的数量;FP表示正常流量被检测为异常的数量;FN表示异常流量被检测为正常的数量;TN表示正常流量被检测为正常的数量。
6.根据权利要求5所述的一种双通道多尺度的网络流量异常检测方法,其特征在于:所述步骤4的具体操作为:步骤4.1:首先通过步骤1.1对其进行解析以及特征提取;然后通过步骤1.2进行数据清洗,缺失值处理,归一化处理,得到相应网络流量特征,并且通过步骤1.3对这些网络流量特征进行分类,分类为空间特征以及时间特征;
步骤4.2:空间特征以及时间特征提取;首先通过步骤2.1对步骤4.1得到的特征进行重塑,打包为大小为256的batch;然后通过步骤2.2和2.3分别提取空间特征与时间特征,最后将提取的特征通过步骤2.4进行特征融合,将得到的特征作为步骤4.3的输入;
步骤4.3:异常检测;将得到的特征输入由两个线性层和softmax函数组成的分类器,得到该特征样本的异常流量预测类别。