欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021108113154
申请人: 郑州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度Q学习的环卫车实时路线规划方法,其特征在于,所述方法包括:步骤一,获取历史最快路线,根据所述历史最快路线确定首次待服务街道;

步骤二,获取当前实时路况信息、当前待服务街道序号、当前时刻、未访问服务街道数量,构建基于马尔科夫策略的神经网络模型,基于所述神经网络模型得到当前最优路线,确定下一次所述待服务街道;

步骤三,所述环卫车到达下一次所述待服务街道后,重复步骤二,直至遍历所有所述待服务街道返回至车库。

2.根据权利要求1所述的方法,其特征在于,所述步骤二之前还包括:获取每一个所述服务街道到其他所述服务街道的历史通行时间。

3.根据权利要求2所述的方法,其特征在于,所述步骤二,获取当前实时路况信息、当前待服务街道序号、当前时刻、未访问服务街道数量,构建基于马尔科夫策略的神经网络模型,基于所述神经网络模型得到当前最优路线,确定下一次所述待服务街道,包括:获取所述当前实时路况信息、所述当前待服务街道序号、所述当前时刻、所述未访问服务街道数量,并基于所述当前实时路况信息,得到从当前待服务街道前往其他每个所述待服务街道的当前实时通行时间;

基于所述当前实时通行时间、所述历史通行时间、所述当前待服务街道序号、所述当前时刻、所述未访问服务街道数量,并利用所述神经网络模型得到当前最优路线,确定下一个所述待服务街道。

4.根据权利要求3所述的方法,其特征在于,所述步骤二中构建基于马尔科夫策略的神经网络模型,包括:

利用马尔科夫策略构建神经网络模型并进行训练,包括:采集训练数据,所述训练数据包括通行时间数据、未访问服务街道数量数据,当前待服务街道序号数据,当前时刻数据,所述通行时间数据包括历史通行时间数据和实时通行时间数据,随机设定所述实时通行时间数据;

在所述神经网络模型中利用无模型方法构建深度Q网络框架,所述深度Q网络框架中包括动作值网络、目标值网络、经验回放单元以及深度Q网络损失函数;

利用所述训练数据基于所述深度Q网络框架对所述神经网络模型进行训练。

5.根据权利要求4所述的方法,其特征在于,所述利用所述训练数据基于所述深度Q网络框架对所述神经网络模型进行训练,包括:获取不同的目标任务,并从所述训练数据中随机选择不同的初始状态值;

基于每一个所述目标任务,在所述深度Q网络框架中对所述神经网络模型进行训练,并利用∈‑greedy策略,进行随机动作选择和策略选择,得到训练后的所述神经网络模型。

6.根据权利要求5所述的方法,其特征在于,所述步骤三中所述环卫车到达下一个所述待服务街道后,重复步骤二,直至遍历所有所述待服务街道返回至车库,包括:所述环卫车到达下一所述待服务街道后,获取所述未访问服务街道数量,若所述未访问服务街道数量为二时,直接确定最后访问的所述待服务街道;

访问所有所述待服务街道后返回至所述车库。

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:基于所述当前实时路况信息、所述当前待服务街道序号、所述当前时刻、所述未访问服务街道数量,利用贪心算法确定后续所述待服务街道;

分别评估前往后续所述待服务街道用时和前往下一次所述待服务街道用时,选择用时最短的所述待服务街道作为最优的下一次所述待服务街道,并执行步骤三。