欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106904526
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,具体步骤如下:

步骤1:分别获取先验知识和无人集群当前智能体的局部状态特征,并将先验知识转换为与局部状态特征同深度下的特征;

步骤2:获取无人集群中影响当前智能体的n个智能体的局部状态特征,融合生成当前智能体的全局状态特征;

步骤3:当前智能体根据当前全局状态特征,决策出当前全局状态特征下的最佳全局动作,进行目标搜索任务,并获取当前智能体的下一全局状态特征和动作奖励;

步骤4:重复步骤1到步骤3,对无人集群中各智能体进行分布式强化学习并决策出各智能体每个全局状态特征下的最佳全局动作,进行目标搜索任务。

2.根据权利要求1所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,步骤1中,先验知识starget具体表示如下:starget=[Dtarget LIDtarget Btarget]

其中Dtarget为预置目标的深度信息,LIDtarget为预置目标的激光雷达在Dtarget深度下的检测特征,Btarget为预置目标的视觉相机在Dtarget深度下的检测特征;

当前智能体的局部状态特征s0具体表示如下:

s0=[s0,action s0,out]=[[x0 y0 θ0 d0][p0 lid0 b0]]其中s0,action表示当前智能体的局部动作状态特征,s0,out表示当前智能体的局部环境状态特征,x0,y0表示当前智能体的坐标位置,θ0表示当前智能体的朝向,d0表示当前智能体的深度特征,p0表示当前智能体搜索到目标的置信度,lid0为当前智能体的激光雷达在d0深度下的检测特征,b0为当前智能体的视觉相机在d0深度下的检测特征;

将先验知识starget转换为与局部状态特征同深度下的特征st'arget,具体表示如下:其中dtarget为预置目标的深度信息,lidtarget为预置目标的激光雷达在d0深度下的检测特征,btarget为预置目标的视觉相机在d0深度下的检测特征。

3.根据权利要求1所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,步骤2中影响当前智能体的n个智能体的局部状态特征,具体表示如下:sj=[sj,action sj,out]=[[xj yj θj dj][pj lidj bj]],j∈(1,n)其中sj为影响当前智能体的第j个智能体的局部状态特征,sj,action表示影响当前智能体的第j个智能体的局部动作状态特征,sj,out表示影响当前智能体的第j个智能体的局部环境状态特征,xj,yj表示影响当前智能体的第j个智能体的坐标位置,θj表示影响当前智能体的第j个智能体的朝向,dj表示影响当前智能体的第j个智能体的深度特征,pj表示影响当前智能体的第j个智能体搜索到目标的置信度,lidj为影响当前智能体的第j个智能体的激光雷达在dj深度下的检测特征,bj为影响当前智能体的第j个智能体的视觉相机在dj深度下的检测特征。

4.根据权利要求3所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,当前智能体的全局状态特征S0,具体表示如下:S0=[S0,action S0,out]=[[x0 y0 θ0 d0][W0,0 W0,1...W0,j...W0,n]]其中S0,action表示当前智能体的全局动作状态特征,S0,out表示当前智能体的全局环境状态特征;W0,j表示影响当前智能体的第j个智能体的外部环境影响因子,具体表示如下:其中,ω0,j表示无人集群基于预置特征匹配的权重,p0,j表示无人集群基于置信度的权重,η0,j表示无人集群基于环境动态性的权重,dis0,j表示无人集群基于距离成本的权重,具体表示如下:其中xk,yk表示影响当前智能体的第k个智能体的坐标位置,β为目标检测置信度最大阈值。

5.根据权利要求1所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,步骤3中,最佳全局动作 具体表示如下:其中A0x为当前智能体在全局状态下执行第x个动作,M为无人集群中智能体离散动作数;w为决策参数,包括w1、w2、w3;random()表示随机选择函数,rand表示(0,1)的随机数;Q(S0,A0x,w)表示无人集群在状态S0下执行A0x动作的价值函数,具体表示如下:其中A0k为当前智能体在全局状态下执行第k个动作;f(S0,A0k,w)为无人集群在状态S0下执行A0k动作的概率分布函数;f(S0,A0x,w)为无人集群在状态S0下执行A0x动作的概率分布函数,具体表示如下:f(S0,A0x,w)=softmax(w3ReLU(w2MaxPool(w1S0+b1))+b2)其中MaxPool()表示最大池化操作,ReLU()表示激活函数,softmax()表示softmax函数,b1、b2均为系数。

6.根据权利要求5所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,当前智能体执行最佳全局动作 后,获取新的局部状态特征s'0,进而得到当前智能体的下一全局状态特征S'0和动作奖励r0,具体表示如下:其中diff=mean(W'0,j)‑mean(W0,j),W0,j表示影响当前智能体的第j个智能体的外部环境影响因子,W'0,j表示新的影响当前智能体的第j个智能体的外部环境影响因子,mean()为求均值函数。

7.根据权利要求6所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,步骤4中根据无人集群在状态S'0下执行A'0x动作的价值函数Q(S'0,A'0x,w),计算均方误差,然后使用梯度下降法进行反向传播优化决策参数w:其中 为无人集群在状态S0下执行 动作的价值函数,step为决策时间步,y0为目标价值,具体表示如下:其中γ为衰减因子。

8.根据权利要求1所述的基于分布式强化学习的无人集群协同群智目标搜索方法,其特征在于,该方法还包括步骤5:无人集群中各智能体分别与影响其的n个智能体进行协同群智搜索时,当n+1个智能体的目标检测置信度均值 大于等于设定置信度阈值γ且决策时间步step小于等于设定时间步阈值λ,则视为目标搜索成功,并更新n;否则视为目标搜索失败,并更新n;其中,n的更新公式具体如下:其中n'为更新后的n, 为向下取整函数。

9.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,其特征在于,所述指令当由计算设备执行时,使得所述计算设备执行如权利要求1至8中任一所述的方法。

10.基于分布式强化学习的无人集群协同群智目标搜索设备,其特征在于,包括一个或多个处理器、一个或多个存储器以及一个或多个程序,其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行如权利要求1至8中任一所述方法的指令。