1.一种基于近端策略优化算法优化网络流量调度方法,其特征在于,包括下列步骤:
构建ASTPPO系统架构;
采集网络链路信息和网络拓扑信息;
分别生成状态信息和奖励值;
以所述状态信息和所述奖励值为输入,获得动作值并转发;
基于所述动作值生成SDN流表,下发所述SDN流表进行流量调度。
2.如权利要求1所述的基于近端策略优化算法优化网络流量调度方法,其特征在于,所述ASTPPO系统架构包括数据交换层、控制层和智能决策层,所述数据交换层由支持SDN工作协议的SDN交换机组成,所述控制层与数据交换层通过南向接口连接,与智能决策层通过北向接口连接,所述智能决策层输出链路权重用于路由策略更新。
3.如权利要求2所述的基于近端策略优化算法优化网络流量调度方法,其特征在于,在采集网络链路信息和网络拓扑信息的过程中,控制层的信息收集器每隔一段时间通过南向接口从数据交换层的SDN交换机采集网络链路信息,控制层的拓扑发现器每隔一段时间通过南向接口从数据交换层的SDN交换机采集网络拓扑信息。
4.如权利要求3所述的基于近端策略优化算法优化网络流量调度方法,其特征在于,分别生成状态信息和奖励值的过程,具体为控制层的信息收集器处理网络链路信息,生成输入智能决策层中智能体的状态信息,控制层的奖励函数模块处理信息收集器采集的网络链路信息,生成输入智能决策层智能体的奖励值,状态信息和奖励值均通过北向接口传输给智能体。
5.如权利要求4所述的基于近端策略优化算法优化网络流量调度方法,其特征在于,以所述状态信息和所述奖励值为输入,获得动作值并转发的过程,具体为所述智能体接收状态信息和奖励值作为智能体算法的输入,使用智能体算法生成网络拓扑中的链路权重作为智能体决策的动作值,用于网络流量调度策略优化,随后通过北向接口将动作值传输给控制层的流表下发器。
6.如权利要求5所述的基于近端策略优化算法优化网络流量调度方法,其特征在于,所述智能体算法中设计门控循环单元模块、自注意力机制模块和图注意力网络模块进行特征提取,其中通过门控循环单元模块捕获输入状态的时序相关信息,并使用自注意力机制模块计算权重,通过图注意力网络模块捕获输入状态的空间相关信息。
7.如权利要求6所述的基于近端策略优化算法优化网络流量调度方法,其特征在于,在基于所述动作值生成SDN流表,下发所述SDN流表进行流量调度的过程中,控制层的流表下发器接收智能体下发的动作值,并结合拓扑发现器采集的网络拓扑信息生成SDN流表,通过南向接口把SDN流表下发给数据交换层的SDN交换机。