欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210192161X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的兵棋推演AI分层决策方法,其特征在于,包括:进行分层网络建模与强化学习智能体建模,基于强化学习智能体模型对从兵棋推演平台获取到态势推演初始数据进行预处理;

通过预先获取的智能体局部态势数据输出当前所有智能体的总体目标;

通过智能体局部态势数据和当前所有智能体的总体目标,输出当前所有智能体的当前应采取的决策;

通过当前所有智能体的总体目标,筛选并预处理得到此刻的目标态势;

通过当前的目标态势,利用注意力机制筛选出与目标态势关联最大的智能体局部信息,并进行态势评估;

将当前所有智能体的当前应采取的决策输入到兵棋推演环境中,得到更新之后的新态势,通过所述新旧态势之间的差别计算奖励并训练网络。

2.根据权利要求1所述的基于注意力机制的兵棋推演AI决策方法,其特征在于,所述进行分层网络建模与强化学习智能体建模,基于强化学习智能体模型对从兵棋推演平台获取到态势推演初始数据进行预处理,包括:将传统的强化学习网络分为两层,管理层网络为所有智能体决策当前的整体目标,决策层网络为所有智能体决策当前应执行的动作;

设计智能体的状态空间,即强化学习网络的输入数据形式;

设计智能体的决策空间,即智能体所能采取的所有动作;

设计智能体的奖励函数,采取某项决策后能够获取的奖励;根据状态空间可以对兵棋推演环境提供的原始态势信息进行筛选与预处理。

3.根据权利要求1所述的基于注意力机制的兵棋推演AI决策方法,其特征在于,所述通过预先获取的智能体局部态势数据输出当前所有智能体的总体目标,包括:管理层决策网络将经过预处理过后的智能体局部观察态势信息 进行拼接得到并实时地输入到管理层的决策神经网络当中,输出当前所有智能体的总体目标gt。

4.根据权利要求1所述的基于注意力机制的兵棋推演AI决策方法,其特征在于,所述通过智能体局部态势数据和当前所有智能体的总体目标,输出当前所有智能体的当前应采取的决策,包括:执行层决策网络将智能体态势信息与当前目标进行拼接得到 并实时地输入到执行层的决策神经网络当中,输出当前所有智能体的动作

5.根据权利要求1所述的基于注意力机制的兵棋推演AI决策方法,其特征在于,所述通过当前所有智能体的总体目标,筛选并预处理得到此刻的目标态势,包括:针对于当前目标gt对当前战场态势信息进行筛选与预处理,得到基于目标的目标态势信息St。

6.根据权利要求1所述的基于注意力机制的兵棋推演AI决策方法,其特征在于,所述通过当前的目标态势,利用注意力机制筛选出与目标态势关联最大的智能体局部信息,并进行态势评估,其中包含管理层与执行层两个部分:所述管理层的评估部分包括将当前的目标态势St输入到管理层的评估神经网络中,输出当前的总体态势评分;

所述执行层的评估部分,包括:

①每一个智能体拥有一个本地评估网络,通过输入当前的智能体态势信息 得到本地评分②将目标态势将St与智能体的态势信息 输入到多头注意力机制的编码层中;

③因为智能体数量较多,并不是所有智能体都与当前目标相关,所以要对智能体信息进行筛选,通过注意力机制计算权重,获取与当前目标态势最为相关的智能体信息,公式为:i

将权重与智能体的本地评分Vt 加权求和,得到此刻执行层的总体态势评分Vtot,公式为:

7.根据权利要求1所述的基于注意力机制的兵棋推演AI决策方法,其特征在于,还包括:通过策略梯度下降法训练管理层与执行层的评判网络与决策网络,其中执行层依靠整体价值Vtot进行训练,其优势函数公式如下:δt=rt(Ot,ut)+γVtot(Ot+1,St+1)‑Vtot(Ot,St)           (3)其中Ot+1与St+1为与环境进行交互之后,环境提供的新态势,该等式基于贝尔曼期望,是对不同时间状态估计的差异,利用优势函数δt即可对执行层的评估网络与决策网络进行训练。

8.一种基于注意力机制的兵棋推演AI决策装置,其特征在于,包括:预处理单元,用于进行强化学习智能体建模,基于强化学习智能体模型对从兵棋推演平台获取到态势推演初始数据进行预处理;

总体目标输出单元,用于获取智能体态势数据,通过所述智能体态势数据输出当前所有智能体的总体目标;

决策输出单元,用于通过预处理过的态势推演初始数据和当前所有智能体的总体目标,输出当前所有智能体的当前应采取的决策;

目标态势获取单元,用于通过当前所有智能体的总体目标,筛选并预处理得到此刻的目标态势;

计算单元,用于将当前所有智能体的当前应采取的决策输入到兵棋推演环境中,得到更新之后的新态势,通过所述目标态势与新态势之间的差别计算奖励。

9.一种基于注意力机制的兵棋推演AI决策装置,其特征在于:包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1~7任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。