欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021105786576
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种非授权频谱智能接入方法,其特征在于:该方法包括以下步骤:S1:初始化环境参数和智能体参数;

S2:初始化环境状态st=s1和经验回放机制RB;

S3:根据ε‑贪心策略产生动作at=π(st);

S4:在后续βE个执行周期中执行动作at,收到环境反馈rt并更新状态至st+1;

S5:将转移样本et=(st,at,rt,st+1)存储到经验回访机制RB;

S6:从经验回放机制RB中随机抽取H个转移样本更新Q‑网络;

S7:训练终止,输出最优接入策略。

2.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S1中,环境由共存的WiFi接入点构成,故环境参数包括WiFi接入点的退避参数以及提出的接入框架的时间参数。具体而言,需要设置的退避参数包括初始窗口大小CW,WiFi接入点包长TW和最大退避阶数m,需要设置的时间参数包括βE、βSF和βS,智能体参数主要包括接入策略更新要用到的训练参数。

3.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S2中,在正式训练过程开始之前,需要为环境设置一个初始状态st=s1。状态st被定义为:其中ft为时刻t时共存网络的公平性指数, 和 分别表示时刻t∈(t‑TF,t]中第i个WiFi接入点和LTE小基站(智能体)的吞吐量,故初始状态基于当时共存网络具体的吞吐量和公平性计算得到。此外,LTE小基站包含一个经验回放机制RB,用于存储过往的经验以便样本接入策略的提升。

4.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S3中,LTE小基站根据当前状态选择接入动作,而动作选择的策略需要权衡对与环境的探索和已有知识的利用,ε‑贪心策略能很好地满足上述要求,其表达式定义为:式中,ε∈[0,1]称为控制参数,其大小表明了LTE小基站在动作选择上的偏好。表示该等式表明以概率1‑ε选择令当前Q值最大的动作,或者以概率ε随机从动作集合A中选择动作。

5.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S4中,动作at的执行结合了我们提出的接入框架,即LTE小基站会在后续βE个执行周期中执行动作at,这样做能让LTE小基站从更大的时间尺度观察到环境动态,即所有WiFi接入点流量模式的变化,从而在计算rt和st+1更加准确,学习收敛更快。

6.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S5中,LTE小基站会将一次与环境交互所产生的转移样本et=(st,at,rt,st+1)存储至RB,逐步累积后续接入策略更新的数据。

7.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S6中,LTE小基站从RB中随机抽取批量为H的样本,采用梯度下降法更新Q‑网络权重。LTE小基站包含两个相同结构的神经网络,分别称为Q‑网络和目标Q‑网络,前者用于拟合接入策略,后者主要服务于策略的更新。

8.根据权利要求1所述的一种非授权频谱智能接入方法,其特征在于:在步骤S7中,当训练次数达到预期次数时,LTE小基站学习到一个最优解,即最优接入策略,此策略由Q‑网络表示。Q‑网络的输入为信道状态,输出是最优接入动作。