1.一种基于马尔可夫过程的通信决策模型的构建方法,其特征在于:所述通信决策模型的构建方法具体包括以下步骤:步骤1、获取实时通信网络环境质量,将获取到的实时通信网络质量作为状态集,并将测试所得的通信网络质量由可视化状态修改为可读取状态;
步骤2、将所述状态集合定义为S,并引入奖励函数R,最终通过马尔可夫决策模型决定累计奖励期望衡量策略π是否为最优解;
步骤3、定义构建马尔可夫决策模型决策过程中的动作集为A,最优策略是表示状态集合S与动作集合A之间正确的映射关系;
步骤4、通过给累计奖励期望衡量策略π定义价值函数V(π),计算当给定起始状态集合S并且根据累计奖励期望衡量策略π使用对应的动作集合A时的累计奖励期望;
步骤5、对比V(π)值,获得最优策略π*,最优策略π*为数据传输类型选择模型并根据最优策略执行对应的数据传输方式;
在所述步骤3中,将三种数据传输方式即视频传输、图片传输、文字传输定义为动作集A,定义策略π为不同质量的通信网络环境对应不同的数据传输模式的一一映射。
2.根据权利要求1所述的一种基于马尔可夫过程的通信决策模型的构建方法,其特征在于:所述步骤1中,获取实时通信网络环境质量,并进行可读取操作具体为:在客户端和服务端安装通信网络测试工具,并在客户端进行操作,得到实时通信网络质量,按照通信网络环境对实时通信网络质量划分区间。
3.根据权利要求2所述的一种基于马尔可夫过程的通信决策模型的构建方法,其特征在于:所述网络测试工具为iperf3工具,在服务端和客户端安装iperf3工具,将服务端设置为接听模式,在客户端执行发送以及测试网络性能指令,为保证获得的通信网络质量的数据具有实时性,设置高频率进行测试,再通过服务端拉取实时通信网络质量数据,由于网络测试工具iperf3工具所得到的实时通信网络质量数据无法被读取,通过编写可执行文件,读取所述iperf3工具读取的实时通信网络质量结果。
4.根据权利要求2或3所述的一种基于马尔可夫过程的通信决策模型的构建方法,其特征在于:将获取的所述实时通信网络质量以带宽小于500Kb/s、大于500Kb/s小于2Mb/s、大于2Mb/s的标准分为低质量区间、中质量区间、高质量区间,通信带宽在小于500Kb/s的情况下进行文字传输,通信带宽在大于500Kb/s小于2Mb/s的情况下进行图片传输,通信带宽在大于2Mb/s的情况下进行视频传输。
5.根据权利要求1所述的一种基于马尔可夫过程的通信决策模型的构建方法,其特征在于:所述步骤2中,奖励函数Rs的计算公式为:Rs=E[Rt+1|St=S];
其中,S表示状态集,包括高质量状态、中质量状态和低质量状态,Rt和St分别表示t时刻的状态与反馈。
6.根据权利要求5所述的一种基于马尔可夫过程的通信决策模型的构建方法,其特征在于:所述步骤4中,确定某一状态下的最优价值函数,最优价值函数为对应状态S执行的所有不同动作集合A所带来的不同价值函数的大小,计算公式如下:V*(s)=maxVπ(s)
最优价值函数的贝尔曼等式如下:
其中,γ表示折扣因子,为一个在0到1之间的实数,P为转移状态矩阵函数,转移状态矩阵函数为状态S发生改变的概率函数,由最优价值函数得到最优策略,最优策略计算公式如下;
对于状态集合S和累计奖励期望衡量策略π得到:
V*(s)=Vπ*(s)≥Vπ(s)
由此得到对应不同状态集合S通信网络质量对应执行的最优策略的动作集合A的数据传输方式,Vπ(s)为状态价值函数。