欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022110747491
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 信号装置
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多智能体约束策略优化的无信号交叉口协同控制方法,其特征在于,包括如下两个部分:

第一部分:多智能体约束策略优化MACPO算法,Actor‑Critic框架的基础上,引入了额外的基于损失函数的critic神经网络,用于保障策略更新时安全约束能够得到满足;MACPO算法主要包括以下两个子步骤:步骤1:智能体轨迹采样,在多智能体环境中每个智能体都将独立与环境进行交互,并实时观测当前环境,假设第i个智能体观测到的局部空间为si,MACPO算法收集到的当前策略πk下多智能体环境提供的状态空间为S=[s1,s2,...,sN],策略神经网络将状态空间映射为N维动作空间A=[a1,a2,...,aN],并将该动作空间后依次分配给环境中的多智能体,多智能体根据获得的动作与环境进行交互,获得新的状态空间,奖励函数与开销函数,以此形成算法与环境交互的闭环,当策略更新次数达到一定程度时中止训练;

步骤2:策略评估优化,分别使用基于奖励函数与基于损失函数的价值函数来评估当前策略,并利用策略梯度算法更新神经网络,MACPO算法将综合利用搜集到的轨迹 来分别更新策略神经网络与基于奖励函数和开销函数的价值神经网络,在更新策略神经网络时在信任域理论的基础上提出安全等级的概念,当基于奖励函数的策略更新违背基于开销函数的安全约束时,使策略更新朝着不违背安全约束且使奖励函数值最大的方向进行;

第二部分:基于多智能体约束策略优化的无信号交叉口协同控制方法,将所提出的MACPO算法应用于道路交叉口协同控制,集中调控交叉口范围内的所有车辆,实现通行的安全性、高效性与舒适性;基于多智能体约束策略优化的无信号交叉口协同控制方法主要包括以下两个子部分:步骤1:状态空间与行为空间建模,定义多智能体环境中共有8台车,每台车均有自己独立的局部观测空间,包括离开道路交叉口的距离di与当前的车速vi,定义全局状态空间为s=[d1,d2,...,d8,v1,v2,...,v8],多智能体环境的行为空间由每个单独智能体的局部动作组成,将车辆的预期车速作为策略神经网络的输出,因此定义行为空间为A=[v′1,v′2,...,v′8];

步骤2:奖励函数与开销函数设计,奖励函数与多智能体的车速、加速度以及是否有安全事故发生相联系,用奖励函数来引导策略向使多智能体环境安全、高效与舒适的方向更新;开销函数与智能体间的距离与环境中是否有碰撞发生相联系,MACPO算法利用开销函数来判断当前策略的安全等级,并引导策略向不违背安全约束的方向更新。

2.根据权利要求1所述的基于多智能体约束策略优化的无信号交叉口协同控制方法,其特征在于:所述第一部分的具体流程为:在策略梯度与Actor‑Critic框架基础上,通过引入另一个表征安全性约束的基于开销的神经网络建立信任域,确保策略在满足安全约束的前提下更新,首先,初始化三个神经网络的参数,包括策略神经网络、基于奖励函数的神经网络与基于开销函数的神经网络;其次,采集环境中与多智能体相关的信息,并根据策略神经网络产生的动作与环境进行交互,采样智能体轨迹,即状态和行为动作序列;进而,经由基于奖励函数与基于开销函数的价值神经网络评估策略,并通过策略梯度与信任域约束共同更新策略网络与两个价值神经网络参数,上述步骤循环至到达设定的迭代次数上限,MACPO作为第二部分道路交叉口协同控制的基础算法。

3.根据权利要求1所述的基于多智能体约束策略优化的无信号交叉口协同控制方法,其特征在于:所述第二部分中,将所提出的MACPo算法应用于道路交叉口协同控制,集中调控交叉口范围内的所有车辆,其中状态空间定义为车辆到交叉口出口的距离与车速信息,动作空间定义为车速控制信息,开销函数考虑道路车辆间的安全距离,奖励函数考虑全局的舒适、效率与安全性能。