欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114331713
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种水声传感网中基于多目标优化的MAC协议设计方法,其特征在于,包括以下步骤:步骤1:建立水声传感网的网络模型;所述水声传感网包括若干水下传感器节点与水面AP节点,水下传感器节点分别使用TDMA、ALOHA和MOMA-MAC协议,并随机分布在水下区域中,从周围环境内收集感知到的数据,并传输到水面AP节点,每个传感器节点向水面AP节点发送包含自身位置的探测信号,并在收到来自水面AP节点的ACK包后计算各自与水面AP节点之间的距离;

步骤2:建立时隙模型,将各个水下传感器节点与水面AP节点的距离转化成以时隙数为单位的传播延迟;

步骤3:建立多智能体强化学习模型,基于部分可观测马尔可夫决策过程,每个水下传感器节点作为一个智能体进行建模,每个水下传感器节点只能基于其局部观测数据进行决策,并使用CTDE架构进行集中式训练和分布式执行,通过集中式的Critic网络评估全局状态,并结合多个智能体的联合动作进行策略优化;

步骤4:构建多目标优化问题,基于此设计双重奖励机制,包括全局奖励和个体奖励,全局奖励用于提高系统的整体吞吐量,而个体奖励则考虑能效和公平性目标;

步骤5:水下传感器节点部署延迟奖励多智能体强化学习算法,能够学习到TDMA节点和ALOHA节点未使用的空闲时隙进行传输并迭代,在执行过程中,各水下传感器节点根据学习到的策略在时隙内进行分布式决策,并自主选择合适的时隙进行数据传输,通过多智能体的协作与竞争,MOMA-MAC协议能够最大化时隙利用率,并在高吞吐量的同时有效平衡节点能效与资源分配的公平性。

2.根据权利要求1所述的水声传感网中基于多目标优化的MAC协议设计方法,其特征在于,所述步骤2的具体步骤如下:

2.1在时隙系统中,假设不同水下传感器节点的数据包具有相同的包长度,并且从水面AP节点到不同水下传感器节点的ACK包也具有相同的包长度;

2.2每个时隙长度Tslot对应于数据包传输的持续时间Tprop加上ACK包传输的持续时间Tack以及保护时间tg;即每个时隙分为两部分:第一部分用于数据包,第二部分用于ACK包;

2.3在第一部分中,每个时隙内,如果一个水下传感器节点的MAC决定是发送,则向水面AP节点发送数据包,并且水面AP节点等待来自所有水下传感器节点的数据包;在第二部分中,水下传感器节点等待来自水面AP节点的ACK包,并且如果在该时隙的第一部分中刚刚接收到数据包,则水面AP节点向所有水下传感器节点广播ACK包;

2.4传播延迟是指信号从发送到被接收所用的时间,对于水下传感器节点i(i∈{1,2,...,N}),假设其与水面AP节点之间的距离为di,Tslot为一个时隙长度,c为水声传播速度,传播延迟Tprop通过以下公式计算:

3.根据权利要求1所述的水声传感网中基于多目标优化的MAC协议设计方法,其特征在于,所述步骤4的具体步骤如下:

4.1构建多目标优化问题,步骤如下:

4.1.1吞吐量目标;每个智能体的目标是在不和TDMA、ALOHA以及其他智能体节点发生碰撞的前提下,学习到空闲时隙并选择合适的时隙进行数据传输,最大化一帧的时隙利用率;通过智能体间的协作,系统整体的吞吐量得以提升;

4.1.2公平性目标;为了保证系统的长期稳定性,智能体在进行时隙选择时,需要考虑过去的资源使用情况;那些长期没有获得传输机会的智能体会被优先考虑,从而避免个别智能体垄断资源;这种公平性能够通过智能体的历史传输记录来衡量,确保资源的均衡分配;

4.1.3能效目标;在传输过程中,每个智能体的能量消耗必须得到控制,智能体在选择是否进行数据传输时,要根据其当前的剩余能量进行决策,通过避免过度传输能够延长节点工作周期,提升整体网络的能效;

4.2设计双重奖励机制,步骤如下:

4.2.1全局奖励;全局奖励用于提高系统整体吞吐量,当一个水下传感器节点成功发送数据包且水面AP节点接收并广播ACK包时,系统将为水下传感器节点分配全局奖励;全局奖励的目标是鼓励各个智能体通过协同工作提高系统的时隙利用率和整体数据传输效率;

4.2.2个体奖励;个体奖励考虑每个智能体的局部决策效果,促使智能体在选择时隙时能最大化公平性和能效,公平性奖励会根据每个水下传感器节点过去获得的时隙资源进行调节,长期未能获得传输机会的水下传感器节点会优先获得更多奖励,从而保证资源分配的公平性,能效奖励与水下传感器节点的剩余能量成正比,激励水下传感器节点在剩余能量较多时优先传输,延长水下传感器节点的生命周期;

4.2.3最终的奖励函数由全局奖励和个体奖励组合而成,通过调节这两种奖励的权重,根据应用场景的需求在吞吐量、能效和公平性之间取得最优平衡。

4.根据权利要求3所述的水声传感网中基于多目标优化的MAC协议设计方法,其特征在于,所述步骤4中的奖励函数的设置具体步骤如下:智能体、动作、状态、奖励函数的设置如下:

智能体:每个使用MOMA-MAC协议的水下传感器节点都是一个智能体;

动作:智能体i∈{1,2,...,n}在时隙t的动作定义为决定是否选择占用该时隙进行数据传输;

局部状态:智能体i∈{1,2,...,n}的局部观测由三部分组成,第一部分是传输指示当智能体i在时隙t选择了动作后,会在时隙t+2Di得到分别表示传输成功、碰撞和信道空闲,具体地,如果且水下传感器节点在时隙t+2Di收到水面AP节点返回的ACK包,则传输成功,否则传输过程中发生碰撞,如果且水下传感器节点在时隙t+2Di收到水面AP节点返回的其他水下传感器节点的ACK包,则其他水下传感器节点发送的数据包被成功接收,否则信道空闲,第二部分表示自时隙开始至时隙t-2Di,智能体i一共占有的时隙数和除智能体i之外的智能体占有的时隙数,具体定义为最后一部分为智能体i的剩余能量因此,智能体i在时隙t的动作-观测对表示为

其中,分别是经过归一化后的通过将局部观测串联,就能获得局部状态

其中,M为历史状态长度,M越大,智能体能够获取的历史信息就越多,然而,随着M的增大,状态空间也会相应扩大,因此,需要选择合适的值提升训练效率;全局状态:全局观测定义为类似于局部状态,在时隙t的全局状态为st=[zt-M+1,zt-M+2,...,zt];

奖励函数:在时隙t全局奖励定义为

当传输成功时,给予正奖励,个体奖励需要考虑公平性和能耗两个因素,假设系统中的最优动作是选择吞吐量最少的智能体节点来占用信道,其定义为然后,通过比较智能体i的动作是否与最优动作一致来定义个体奖励的公平性部分

个体奖励的能耗部分能够直接从局部观测中得到,这样就可以将两者结合起来,得到完整的个体奖励函数其中,λ是权重系数,用于调整吞吐量公平性和能耗之间的权衡,最后,将全局奖励和个体奖励结合在一起,时隙t时的奖励表示为

5.根据权利要求1所述的水声传感网中基于多目标优化的MAC协议设计方法,其特征在于,所述步骤5的具体步骤如下:延迟奖励多智能体强化学习算法的训练过程如下:

5.1初始化每个智能体的策略网络和值函数网络,策略网络用于智能体的动作选择,而值函数网络用于估算每个状态的价值;

5.2每个智能体通过与环境的交互,收集经验数据,这些数据包括状态、动作、奖励、下一状态及其时间戳,由于水下环境存在长传播延迟,智能体必须等待两倍的传播延迟才能获取到奖励反馈,在延迟期间,智能体会将状态和动作信息缓存,以便在延迟结束后结合正确的奖励进行联合评估

5.3采用集中式Critic和分布式Actor的训练方式,Critic网络负责全局状态和联合动作的评估,并根据不同智能体的传播延迟进行加权处理,从而确保延迟奖励机制下的正确策略更新,在Actor网络中,智能体基于局部观测和延迟处理的奖励信息独立选择动作,同时共享全局信息进行策略优化;

5.4在每个时间步,使用Critic网络计算每个智能体的优势函数;

5.5采用随机梯度下降法最小化损失函数来更新Actor网络,最大化优势函数的同时限制策略更新的幅度,避免大幅度的策略更新;

5.6重复步骤5.2到步骤5.5,直到到达最大迭代次数。