1.一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述方法包括:S1、获取不同的数据源的数据,并对数据进行预处理;
S2、设计数据源优先等级,根据数据源的优先级对数据源输入图神经网络模型的优先级进行控制;
S3、设置自适应数据融合算法对数据进行融合,具体包括:S31、对数据源与特征进行选择;
S32、设计自适应融合图神经网络模型,具体为:假设每个数据源为图神经网络模型中的节点,节点之间的边则表示不同数据源之间的关联性,每个节点i有一个特征向量X定义一个关联矩阵A,其中A使用图神经网络模型进行信息传播和融合,具体的更新公式如下:H
其中,H
根据当前交通场景,动态调整图神经网络模型中的参数,用于获得准确的融合结果,表示如下:W
其中,α是一个根据场景动态调整的系数;
S4、使用离线强化学习算法对预处理后的数据和奖励函数进行图神经网络模型训练;
S5、实时检测交通状态和图神经网络模型输出,并在检测到异常或不安全情况时切换到预定义的安全策略;
其中,所述离线强化学习算法的实现步骤如下:初始化Q-Table,设置Q(s,a)为0;
初始化经验回放缓冲区ReplayBuffer;
设置学习率η=0.01、折扣因子γ=0.99;
在每个训练周期,对状态特征s进行动态特征扩充;
其中,所述对状态特征s进行动态特征扩充具体为:根据最接近的几个时间步的状态特征来预测末来某段时间可能的状态,然后将这些预测的特征添加到当前状态特征中,如下表示:其中,s表示当前状态,包含一系列与当前交通状况相关的特征;⊕表示连接操作,用于将当前状态和预测的未来状态合并成一个增强的状态表示;PredictFutureStates(s)表示接受当前状态s作为输入,并输出预测的未来状态的函数,实际采用的就是LSTM网络;
从缓冲区ReplayBuffer中随机抽取一个批次B的样本;
使用重要性采样权重w
其中,w
所述WindowedLoss函数表示如下:其中,r
对于每个样本(s
其中,η表示学习率;w
根据图神经网络模型在验证集上的表现,动态调整学习率η和重要性采样权重wη=η×(1-ValidationLossRate)w
其中,ValidationLossRate表示验证集上的损失率,用于衡量图神经网络模型的性能;λ表示调节因子,用于控制ValidationLoss对重要性权重w
2.根据权利要求1所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述S2,具体包括:S21、根据数据的精确度、延迟率和完整性设置优先级原则,为每个数据源分配优先级得分;
S22、设计动态优先级调整算法、数据源切换机制和优先级队列更新机制对数据源的优先级进行调整;
S23、对数据源和数据进行存储并定期备份,其中,所述数据附带一个时间戳和数据源标识,用于保证数据的完整性。
3.根据权利要求1所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述图神经网络模型训练具体为基于预处理后的数据和特定的奖励函数进行图神经网络模型训练,具体包括:S41、定义状态、动作和奖励:状态(s);其中,交通流量、信号灯状态、天气条件表示为s=[s
其中,s
动作(a):其中,路由建议a=[a奖励(r);
S42、构建离线数据集;
S43、使用离线强化学习算法动态调整学习率和重要性采样权重。
4.根据权利要求3所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述重要性采样权重还引入动态权重调整,具体表示为:其中,λ表示调节因子,用于控制ValidationLoss对w_t的影响程度;π(a
5.根据权利要求4所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述对数据进行标注具体步骤为:对于每一个时间步和位置,使用实际观测到的交通状况来标注奖励;
使用Z-Score方法来识别和剔除异常数据;
对于不常见但重要的事件,进行上采样,用于平衡数据集。
6.根据权利要求3所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述奖励函数设计为:奖励函数R(s,a)由四个子奖励函数组成,表示如下:R(s,a)=ω
其中,ω
所述交通流量奖励R
其中,V
所述交通安全奖励R
R
其中,N
所述交通流动性奖励R
其中,D表示道路拥堵程度,D所述环境影响奖励R
其中,E
为了适应不同的交通场景和目标,引入了一个动态权重调整机制:ω
其中,η表示学习率,Performance和Target
7.根据权利要求1所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述步骤S5包括:S51、构建安全边界检测机制:计算安全指数S
S
其中,w
TrafficCongestion表示实时交通拥堵度;PredictedAccidents表示预测将要发生的交通事故数量;
S52、根据安全检测的风险程度判断是否进行安全模式的切换;
S53、根据系统性能自适应调整安全模式的参数:w
其中,S
8.根据权利要求1所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,还包括:S6、通过分析个别用户或车队的历史行为和实时需求,生成个性化的路由规划,用于使个别用户的出行时间和费用最小化。
9.根据权利要求8所述的一种基于离线强化学习的信号灯及路由协同控制方法,其特征在于,所述S6具体包括:S61、根据收集数据和构建数据结构利用特征工程构建用户画像;
S62、根据数据源构建分析图神经网络模型判断出行需求;
S63、利用改进型的离线Q学习算法生成个性化路由。