1.基于流量识别技术和Q学习的快速切换方法,其特征在于,包括步骤:(1)样本采集:获取网络中已知业务类型的用户数据信息和相应的网络状态信息作为样本数据;用户数据信息包括:用户身份信息、用户会话产生的数据流信息、用户到各个基站的信号强度、用户切换到各基站的信令开销;网络状态信息包括基站位置、基站剩余可用带宽;
(2)用采集到的样本数据训练深度流检测模型,深度流检测模型用于根据输入的用户数据流信息识别用户的业务类型;
(3)采用基于HYM的切换方法,根据样本数据得到符合切换条件的基站的集合J;
(4)构建用户状态空间S和动作集合A;记用户状态空间中的某一用户状态为s,s中包括用户的业务类型、网络中各基站的剩余可用带宽、用户到各个基站的信号强度、用户切换到各基站的信令开销;动作集合A中的某一动作aj表示用户切换到基站j,j∈J;
(5)构建激励函数:
其中,μ1、μ2、μ3为权重系数,Bavj表示基站j的剩余可用带宽,Bav为网络中剩余可用带宽总量,HORj为用户切换到基站j的信令开销,HORtar为预设的切换信令开销阈值,RSIPj为用户到基站j的信号强度,RSIP为预设的信号强度阈值;
(6)根据用户状态空间S、动作集合A和激励函数R进行Q学习直至收敛,得到用户业务的切换策略。
2.根据权利要求1所述的基于流量识别技术和Q学习的快速切换方法,其特征在于,所述业务类型包括会话类业务、流类业务、交互类业务和后台类业务。
3.根据权利要求2所述的基于流量识别技术和Q学习的快速切换方法,其特征在于,所述Q学习的具体步骤为:
1)初始化Q矩阵中的各个Q值为随机数,从动作空间随机选取动作a;
2)获取当前用户状态s,执行动作a,得到下一状态s′;
计算Q值:
Q(s,a)=R(s,a)+γmaxQ(s′,a′)
3)更新Q矩阵为:
Qnew(s,a)=(1-α)Q(s,a)+αR(s,a)+γmaxa′,Q(s′,a′)S=S′
4)判断Q矩阵是否收敛至预设精度值ε,若收敛,则结束Q学习,输出动作选择策略π(s)=argmaxQ(s,a);否则,根据动作选择策略π(s)=argmaxQ(s,a)选择新的动作;返回步骤
2)。