欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020107449854
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Q-Learning的卫星物联网路由策略,其特征在于:所述方法包括如下步骤:

步骤1,初始化卫星物联网参数,设定Q-Learning算法中学习率和Q值,设定折扣因子定义中折扣因子调节系数的值,设定奖励值定义中卫星不同轨道面跳数的权重;

步骤2,每一个卫星节点维护一张Q值表,根据卫星节点跳数,距离,方向以及缓冲区占用率,利用Q值更新公式,学习Q值表;

步骤3,每一个卫星节点通过步骤2学习得到的Q值表,根据贪心选择策略,转发数据包。

2.根据权利要求书1所述的一种基于Q-Learning的卫星物联网路由策略,其特征在于:所述步骤1中,设定Q-Learning算法中学习率α的值,α∈[0,1];设定Q值,将所有Q值初始化为0;设定折扣因子定义中折扣因子调节系数γ的值,γ∈[0,1];设定奖励值定义中卫星不同轨道面跳数的权重w1,w2,…,wi,…,wk的值,卫星轨道高度越高,wi(i∈[1,k])的设置也越大,且满足:w1+w2+…+wi+…+wk=1。

3.根据权利要求书1所述的一种基于Q-Learning的卫星物联网路由策略,其特征在于:所述步骤2中,节点更新Q值表具体步骤如下:

当前节点的拓扑结构变化以及转发数据包至邻居节点后,都会触发一次Q值更新;根据奖励值以及折扣因子使用更新公式进行Q值更新,奖励值考虑了卫星节点跳数,折扣因子考虑了卫星节点距离,跳数以及缓冲区占用率;当前节点c转发目的节点为d的数据包至邻居节点x的Q值更新公式如下:其中,Nx代表节点x的邻居节点集合;α是学习率,代表学习的速度,影响Q值更新的速度;

Rc(d,x)和γc(d,x)分别代表节点c选择节点x转发目的节点为d的数据包的即时奖励值R值和折扣因子;Qx(d,y)是节点x转发数据包至节点y的Q值;

当前节点c转发目的节点为d的数据包至邻居节点x的奖励值公式Rc(d,x)为:其中,Nd代表目的节点的邻居节点集合;h1,h2,…,hi,…,hk分别是数据包在卫星不同轨道面的跳数;w1,w2,…,wi,…,wk分别为卫星不同轨道面跳数的权重;

当前节点c转发数据包至邻居节点x的折扣因子公式γc(d,x)为:γc(d,x)=γ×Dir_F(d,x)×Dis_F(d,x)×Buf_F(d,x)其中,γ是折扣因子调节系数,满足0<γ<1;Dir_F(d,x)是转发目的节点为d的数据包至邻居节点x的方向因子;Dis_F(d,x)是转发目的节点为d的数据包至邻居节点x的距离因子;Buf_F(d,x)是转发目的节点为d的数据包至邻居节点x的缓冲区因子;

折扣因子γc(d,x)中的方向因子Dir_F(d,x)的公式表示为:其中,θ(d,x)是邻居节点x与目的节点d之间的夹角;

折扣因子γc(d,x)中的距离因子Dis_F(d,x)的公式表示为:其中,D(d,x)是邻居节点x到目的节点d的距离,Dmax是整个网络中邻居节点x到其他节点的最大距离;

折扣因子γc(d,x)中的缓冲区因子Buf_F(d,x)的公式表示为:其中,Bx是邻居节点x的缓冲区大小,S(x)是邻居节点x的缓冲区中当前所有数据包大小的累加和。

4.根据权利要求书1所述的一种基于Q-Learning的卫星物联网路由策略,其特征在于:所述步骤3中,具体步骤如下:

步骤3-1:当前节点接受到数据包;

步骤3-2:若邻居节点中存在目的节点,则直接将数据包转发给目的节点,传输结束;否则转步骤4-3;

步骤3-3:当前节点遍历邻居节点的Q值;

步骤3-4:如果邻居节点的Q值大于当前节点的Q值,则根据贪心选择策略,即将数据包转发给Q值最大的节点,并更新Q值;否则存储等待,当遇到新的节点后,继续重复上述步骤。