欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024107666680
申请人: 金陵科技学院
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于优势策略的车联网资源分配联合优化方法,其特征在于,包括以下步骤:步骤1,建立车联网环境;

步骤2,建立优化目标和约束条件;

步骤3,建立基于MADDPG和A2C的资源分配联合优化算法,用于实现复杂环境下车到基础设施通信正交子信道的频谱分配和车辆间通信的功率选择,在保障V2V链路高可靠性传输的条件下,最大化V2I链路的总吞吐量。

2.根据权利要求1所述的方法,其特征在于,步骤1包括:设定车联网环境包括1个基站和两个以上车辆用户,所述车辆用户包括车到基础设施通信V2I用户和车辆间通信V2V用户;车到基础设施通信链路用于车辆连接到基站和路边单元的通信,车辆间通信链路用于车辆之间进行直接的信息交换;车到基础设施通信链路集合为S

3.根据权利要求2所述的方法,其特征在于,步骤1还包括:设定所有参与通信的车辆都配备了单一的天线设备,每个车到基础设施通信V2I用户仅通过一条车到基础设施通信上行链路进行通信,车到基础设施通信上行链路的频谱资源均匀划分为M个正交子信道;允许两个以上车辆间通信V2V用户共享每条车到基础设施通信链路的频谱资源,实现频谱的共享。

4.根据权利要求3所述的方法,其特征在于,步骤1还包括:定义第m条车到基础设施通信链路和第n条车辆间通信链路信道的信噪加干扰比为:其中

其中,符号

I

其中,

I

其中,φ

定义发射计算功率g为:

g=ah[m]    (6)

其中,a表示与频率无关的大尺度衰落;h[m]表示与频率相关的小尺度衰落信道增益。

5.根据权利要求4所述的方法,其特征在于,步骤1还包括:用LL

其中,d是一个距离参量;f

根据香农公式,得出第m条车到基础设施通信链路的总吞吐量其中,lb表征以2为底的log对数表达,B为信道带宽;

构建有效传输概率ψ

其中,B

6.根据权利要求5所述的方法,其特征在于,步骤2包括:建立如下优化目标:其中∑n′表示处于活跃状态的车辆间通信链路数量总和;η表示通信车辆对数;max是取最大值函数;E表示期望值的函数表达;

构建如下约束条件:

其中,p

7.根据权利要求6所述的方法,其特征在于,步骤3包括:建立基于MADDPG和A2C的资源分配联合优化算法,将车联网情景视为一个多智能体深度强化学习任务,其中每辆通信车辆作为一个独立的智能体,所述智能体通过与环境的互动积累经验,并学习达到最优策略以优化奖励;在全面协作的学习模式中,智能体根据实时环境状态选择发射功率进行数据传输;算法分为集中式学习和分布式执行两个阶段,在集中式学习阶段,智能体训练策略网络和值函数网络;在分布式执行阶段,智能体根据状态信息和奖励选择最优策略π步骤3-1,设计状态空间:

在时隙t中,将智能体n当前遭遇的环境状态记做其中

定义智能体n观测到的局部信道信息包括:自身链路的信道增益g步骤3-2,设计动作空间:

每条车到基础设施通信链路的频谱资源被均分到M个正交子信道上,N条车辆间通信链路能够从M个频谱子信道中选取一个进行共享,并调节发射功率以执行传输,连续功率值步骤3-3,设计奖励函数:

设计两个奖励函数Re

其中,Φ是常数;

通过权重系数法,得出最后的奖励函数Re其中,λ为权重系数,并且λ∈(0,1);θ为奖励因子;V2V参数

其中,χ为一个调优参数;

目标是寻找最优策略π

其中,Re

步骤3-4,实现深度确定性策略梯度算法DDPG;

步骤3-5,实现多智能体深度确定性策略梯度MADDPG算法;

步骤3-6,建立基于优势的演员评论家A2C算法;使用TD误差来计算A2C算法的优势函数步骤3-7,建立MADDPG-A2C算法。

8.根据权利要求7所述的方法,其特征在于,步骤3-4包括:所述深度确定性策略梯度算法DDPG包括以下神经网络:主Actor网络:主Actor网络用于将状态映射到动作,主Actor网络参数记为θ,主Actor网络把环境在时间步t的状态s目标Actor网络:目标Actor网络用于生成目标动作,初始参数设定为θ′,并产生动作μ′(s主Critic网络:主Critic网络用于学习动作值函数,以ω为初始参数,主Critic网络将接收环境在时间步t的状态s目标Critic网络:目标Critic网络用于评估目标动作价值,用参数ω′进行初始参数化,输出状态值函数为Q′(s主Actor网络的参数θ通过梯度下降法来更新,使用以下链式法则:其中,

主Critic网络的更新首先要通过使用目标Actor网络的输出作为目标Critic网络的输入,得到状态值函数的目标值y为:y=r+γQ′(s

其中,μ′(s

接着,利用主Critic网络计算状态值函数,并依据最小化损失函数的方法对主Critic网络进行反向更新,损失函数L定义为:其中,D

目标Actor网络和目标Critic网络通过渐进式更新方法来优化其参数,表示为:ω′←τω+(1-τ)ω′;θ′←τθ+(1-τ)θ′    (32)其中τ作为一个关键超参数,用于控制更新的平滑度。

9.根据权利要求8所述的方法,其特征在于,步骤3-5包括:多智能体环境建模:MADDPG算法将环境视为包含两个以上智能体的博弈环境,每个智能体的策略需要考虑其他智能体的影响;

共享的经验回放缓冲区:MADDPG算法使用一个共享的经验回放缓冲区,所有智能体都能够从经验回放缓冲区中采样经验来训练自己的策略网络;

集中式训练、分布式执行:MADDPG算法结合了集中式学习与分布式操作的策略,通过集中式学习来优化策略,在执行阶段则采用分布式的方式进行,即使用一个全局的主Critic网络来评估所有智能体的行为价值,每个智能体的策略网络是独立训练的;

自适应性奖励:MADDPG算法设计自适应性的奖励函数。

10.根据权利要求9所述的方法,其特征在于,步骤3-6中,优势函数其中,

步骤3-7包括:

定义每个独立的智能体n,其中n∈(1,2,……,N),根据各自所处的状态优化目标是保障车辆间通信链路高可靠传输条件下最大化车到基础设施通信链路的总吞吐量;

当前的智能体n的环境状态为

其中,

对主Actor网络的损失函数Actor其中,y为目标Critic网络的输出Q的值,当Critic

其中,β

在追求最大化总回报的目标下,每个智能体通过优化目标函数来调整主Actor网络的评估参数,目标函数J选用优势驱动的异步并行策略A2C来进行参数的优化:其中,α

目标Actor网络和目标Critic网络参数的更新都采用软更新的方式,表达式为:θ′←τ*θ+(1-τ)*θ′    (40)ω′←τ*ω+(1-τ)*ω′    (41)。