1.一种基于深度学习的TCP拥塞动态控制方法,其特征在于,包括:代理获取传输环境的状态按照策略确定一个动作,所述动作为TCP会话的数据传输动作;
传输环境基于所述动作对下一个传输环境进行改变,并将改变后的环境信息作为回报传输至代理;
获取时序上连续的K个历史经验,对所述K个历史经验进行处理后作为输入至时序卷积网络模型中得到历史信息;
代理基于所述历史信息以及回报和\或累积回报确定下一个动作;
获取时序上连续的K个历史经验包括:
选取以下信息,包括拥塞窗口w、一次发包时间内的吞吐量(tp)、往返时间(RTT)、最小RTT和RTT之比υRTT、RTT和最小RTT两者之间的差值dRTT、发送数据包后返回的确认字符τACK,基于以上信息生成状态空间,状态空间S通过以下集合表达,包括:S=[s1,s2,...,sk];
其中st表示通过以下公式表达,包括:
St=[w(t),tp(t),RTT(t),υRTT(t),dRTT(t),τACK(t)];
代理选取状态空间S集合中的K个历史经验作为时序卷积网络的输入,提取时序上隐式的因果关系,代理将提取的隐式特征压成一维张量作为DQN的输入。
2.根据权利要求1所述的TCP拥塞动态控制方法,其特征在于,所述代理基于所述历史信息以及回报进行确定下一个TCP会话的数据传输动作中,基于以下公式进行计算下一个动作Ai的Q函数值,包括:
3.根据权利要求2所述的TCP拥塞动态控制方法,其特征在于,所述策略基于以下步骤获得,包括:
策略π(a|st)基于状态空间(S)到动作空间a映射,通过以下公式表达,包括:π(a|st)·S→A。
4.根据权利要求3所述的TCP拥塞动态控制方法,其特征在于,所述回报基于以下步骤获得,包括:
代理根据当前状态st随机和\或根据所述策略固定的选取动作at并从环境中获得回报r(st,at),通过以下公式表达,包括:Rt=r(st,at)+γ·Rt+1。
5.根据权利要求4所述的TCP拥塞动态控制方法,其特征在于,计算代理在状态st下执行动作at后获得的累计回报,通过以下公式表达,包括:
6.根据权利要求1所述的TCP拥塞动态控制方法,其特征在于,所述回报的取值基于效用函数得到映射;
其中效用函数基于以下公式表达,包括:
U=Utilityt+RTT‑Utilityt;
其中Utility为回报函数,通过以下方式计算每个时刻的回报函数,包括:Utilityt=α×log(tp(t))‑βlog(RTT(t));
其中α,β代表吞吐量,RTT的权重,且α+β=1。
7.一种基于深度学习的TCP拥塞动态控制装置,其特征在于,包括:环境获取模块,用于使代理获取传输环境的状态按照策略确定一个动作,所述动作为TCP会话的数据传输动作;
回传模块,用于使传输环境基于所述动作对下一个传输环境进行改变,并将改变后的环境信息作为回报传输至代理;
历史经验获取模块,用于获取时序上连续的K个历史经验,对所述K个历史经验进行处理后作为输入至时序卷积网络模型中得到历史信息;
确定模块,用于使代理基于所述历史信息以及回报和\或累积回报确定下一个动作;
还包括特征处理模块,所处特征处理模块用于执行以下步骤,包括:选取以下信息,包括拥塞窗口w、一次发包时间内的吞吐量(tp)、往返时间(RTT)、最小RTT和RTT之比υRTT、RTT和最小RTT两者之间的差值dRTT、发送数据包后返回的确认字符τACK,基于以上信息生成状态空间,状态空间S通过以下集合表达,包括:S=[s1,s2,...,sk];
其中st表示通过以下公式表达,包括:
St=[w(t),tp(t),RTT(t),υRTT(t),dRTT(t),τACX(t)];
代理选取状态空间S集合中的K个历史经验作为时序卷积网络的输入,提取时序上隐式的因果关系,代理将提取的隐式特征压成一维张量作为DQN的输入。
8.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至6 任一所述的方法。