1.一种基于位置信息的车联网强化学习路由方法,其特征是,包括如下步骤:提取由当前节点的邻居节点所传送的HELLO信息包,所述邻居节点不少于两个,所述HELLO信息包中包括有对应邻居节点的速度、位置坐标、运动方向、邻居节点数、Q值表中的最大Q值;
基于所述HELLO信息包,更新当前节点的Q值表中邻居节点的Q值,求取邻居节点与目标节点基于位置信息的奖励值;
基于当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值,从邻居节点中选取适配节点作为转发节点。
2.根据权利要求1所述的基于位置信息的车联网强化学习路由方法,其特征是,当前节点的Q值表中邻居节点的Q值的更新方法,包括:基于HELLO信息包,求取邻居节点的链路持续时间因子和节点度因子;
基于链路持续时间因子和节点度因子,求取邻居节点的瞬时奖励值;
基于瞬时奖励值和邻居节点的Q值表中的最大Q值,求取当前节点的Q值表中邻居节点的Q值。
3.根据权利要求2所述的基于位置信息的车联网强化学习路由方法,其特征是,邻居节点的链路持续时间因子,其计算公式如下:其中,
a=vi·cosθi-vjcosθj,
b=xi-xj,
c=visinθi-vjsinθj,
d=yi-yj,
式中,Ti,j为邻居节点uj的链路持续时间因子,ε为因子,τi,j为当前节点ui与邻居节点uj之间链路的持续时间,Min(τi,j)为当前节点ui与邻居节点之间链路持续时间的最小值,Max(τi,j)为当前节点ui与邻居节点之间链路持续时间的最大值,(xi,yi)为当前节点ui的位置坐标,(xj,yj)为邻居节点uj的位置坐标,vi为当前节点ui的速度,vj为邻居节点uj的速度,θi为前节点ui的运动方向,θj为邻居节点uj的运动方向,R为节点间的通信范围,a、b、c、d均为过程变量。
4.根据权利要求2所述的基于位置信息的车联网强化学习路由方法,其特征是,邻居节点的节点度因子,其计算公式如下:式中,Ni,j为邻居节点uj的节点度因子,Nj为邻居节点uj的节点度值,即邻居节点uj的的邻居节点数,ε为因子,Min(Nj)为当前节点ui的邻居节点中最小的节点度值,Max(Nj)为当前节点ui的邻居节点中最大的节点度值。
5.根据权利要求2所述的基于位置信息的车联网强化学习路由方法,其特征是,邻居节点的瞬时奖励值,其计算公式如下:Ri(j)=Ti,j·Ni,j,
式中,Ri(j)为邻居节点uj的瞬时奖励值,Ti,j为邻居节点uj的链路持续时间因子,Ni,j为邻居节点uj的节点度因子。
6.根据权利要求2所述的基于位置信息的车联网强化学习路由方法,其特征是,当前节点的Q值表中邻居节点的Q值,其计算公式如下:式中,Qi(j)为当前节点ui的Q值表中邻居节点uj的Q值,α为学习率,Ri(j)为邻居节点uj的瞬时奖励值,γ为折扣因子, 为邻居节点uj的Q值表中的最大Q值。
7.根据权利要求1所述的基于位置信息的车联网强化学习路由方法,其特征是,邻居节点与目标节点基于位置信息的奖励值的求取方法,包括:求取邻居节点与目标节点之间的距离;
基于邻居节点与目标节点之间的距离,求取邻居节点与目标节点基于位置信息的奖励值。
8.根据权利要求7所述的基于位置信息的车联网强化学习路由方法,其特征是,邻居节点与目标节点基于位置信息的奖励值,其计算公式如下:其中,
式中,Ri(d,j)为邻居节点uj与目标节点ud基于位置信息的奖励值,R为节点间的通信范围,Dj,d为邻居节点uj与目标节点ud之间的距离,(xj,yj)为邻居节点uj的位置坐标,(xd,yd)为目标节点ud的位置坐标。
9.根据权利要求1所述的基于位置信息的车联网强化学习路由方法,其特征是,适配节点的选取方法,包括:对当前节点的Q值表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值进行求和运算,获取邻居节点的选择因子;
提取选择因子最大的邻居节点,作为适配节点。