欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210232129X
申请人: 三峡大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,包括:

采集兵棋推演平台的初始态势数据,并对所述初始态势数据进行预处理,获得目标态势数据;

构建影响力地图模块,将所述目标态势数据输入所述影响力地图模块,输出获得影响力特征;

基于卷积神经网络和近端策略优化构建混合神经网络模型,将所述目标态势数据和所述影响力特征拼接后,输入所述混合神经网络模型进行模型迭代训练,直到目标函数最小、网络收敛,实现CNN‑PPO智能体的构建。

2.根据权利要求1所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,对所述初始态势数据进行预处理为对所述初始态势数据进行筛选,去除不规范数据,获得目标态势数据;

所述初始态势数据包括己方作战实体的属性信息、敌方作战实体的属性信息、地图通视属性信息、计分板信息;

所述不规范数据包括冗余数据、格式缺失的数据、空值、出错信息。

3.根据权利要求1所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,所述混合神经网络模型整体架构为CNN‑PPO架构,包括卷积神经网络、Actor_new网络、Actor_old网络、Critic网络;

所述卷积神经网络用于挖掘目标态势数据之间的潜在联系,实现隐藏特征的提取;

所述Actor_new网络、Actor_old网络、Critic网络均为使用三层全连接神经网络。

4.根据权利要求3所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,输入所述混合神经网络模型进行模型迭代训练之前还包括,将卷积神经网络的输出输入到PPO架构中的Actor网络中,获得Actor网络的输出;将所述Actor网络的输出和所述卷积神经网络的输出拼接,输入到Critic网络中,获得Critic网络的输出。

5.根据权利要求4所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,将卷积神经网络的输出输入到PPO架构中的Actor网络中,获得Actor网络的输出包括,卷积神经网络的输出输入到Actor_new网络中,得到μ和σ两个参数值;基于这两个参数值建立正态分布,用来表示action的分布,其中,μ为正态分布的均值,σ为正态分布的方程;根据所述正态分布采样得到一个action,通过所述action与环境互动得到环境给出的奖励值与下一时刻状态。

6.根据权利要求5所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,将所述Actor网络的输出和所述卷积神经网络的输出拼接,输入到Critic网络中,获得Critic网络的输出包括,将下一时刻的态势数据输入到Critic网络中,得到网络的输出V_;

将T个时刻的状态值输入到Critic网络中,得到T个V_值;计算折扣奖赏值R与V_的均方差,利用反向传播机制更新Critic网络;其中,V_为在状态S下采取动作a所取得的估计收益值并计算折扣奖赏值。

7.根据权利要求1所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,输入所述混合神经网络模型进行模型迭代训练为使用均方差损失函数对网络参数进行N次优化,对Actor网络和卷积神经网络进行B次优化,直到目标函数最小,网络收敛。

8.根据权利要求7所述的基于CNN‑PPO的兵棋推演智能体构建方法,其特征在于,使用均方差损失函数对网络参数进行N次优化,对Actor网络和卷积神经网络进行B次优化包括,将经验池中的所有状态值分别输入到Actor_new网络与Actor_old网络中,得到动作的正态分布N1和N2;将经验池中所有的动作输入到N1和N2中得到概率p1和p2,基于p1和p2的概率值计算出p2/p1的值;计算Actor网络的误差,并利用反向传播机制更新参数,训练模型直到收敛,实现CNN‑PPO智能体的构建。