欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023110920254
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无人车驾驶控制的最小化协方差强化学习训练加速方法,用于对丘陵地形无人车驾驶控制的训练过程进行加速,其特征在于,包括以下步骤:步骤1、针对丘陵地形无人车的作业要求建立强化学习环境模型,实例化已训练好的神经网络模型;

步骤2、获取无人车当前的状态信息,所述无人车当前的状态信息至少包括由地形坡度、路面潮湿情况、无人车距终点距离、无人车当前速度、无人车车损情况;

步骤3、获取无人车当前所有可选择的动作,将所有可选的所述状态信息及无人车动作依次输入到已训练好的所述神经网络模型中,获得所有可选的特征向量 ,其中 为无人车当前的状态信息,A为无人车可选动作, 为当前状态s下采取动作 的特征向量;通过线性的方法,求得所有可选择的 ,即 ,其中,为特征权重参数向量, 为向量转置符号,通过 方法选择动作 ,保存对应的特征向量 ;

步骤4、无人车执行了动作 ,获取了即时奖励,进入了下一个状态 ,此时无人车通过坡度传感器、路面湿度传感器、定位器获取状态信息,同时获取无人车当前所有可选择的动作,将所有可选的所述状态信息及无人车动作依次输入到已训练好的所述神经网络模型中,获得所有可选的特征向量 , 表示可选动作;通过线性的方法,求得所有可选择的 ,即 ,其中,为特征权重参数向量, 为向量转置符号,通过 方法选择动作 ,保存对应的特征向量 ;无人车获得即时奖励分别为h,j,k,具体奖励形式如下:

;

;

;

其中h为地形坡度时的奖励,j为路面潮湿情况时的奖励,k为无人车距离终点距离时的奖励,地形坡度、路面潮湿情况、无人车距终点位置分别由坡度传感器、地面湿度传感器以及定位器获得,且最终奖励 为上述所述h、j、k加权之和;

步骤5、无人车利用强化学习训练加速方法对参数进行更新,该方法的优化过程是最小化 ,其中 表示误差, ,为奖励,表示误差的期望,因为期望项 不容易求解,因此定义 来表示对 的估计近似,利用随机梯度下降方法,分别对 进行更新,最终的更新公式如下所示:;

;

其中,表示特征权重参数向量; 表示 的估计近似;

表示误差;和 分别是 和 的学习率;

步骤6、重复所述步骤2‑步骤5,直到无人车到达目的地或达到最大迭代更新次数。

2.根据权利要求1所述的无人车驾驶控制的最小化协方差强化学习训练加速方法,其特征在于,所述步骤1具体包括:根据丘陵地形无人车的作业要求建立强化学习环境模型;

将所有所述状态信息及无人车可选动作依次输入到已训练好的所述神经网络模型,获取相应的特征,所述神经网络模型已通过打好状态特征标签的数据集训练完成。