欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024101664677
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种移动边缘计算场景中的安全服务迁移方法,其特征在于,所述方法包括:获取移动用户的移动轨迹,对所述移动轨迹标注出不同时刻的轨迹位置,以形成轨迹数据集,将所述轨迹数据集划分为训练集和验证集;

根据所述轨迹数据集模拟真实目标场景,以构建系统网络模型,根据所述系统网络模型设定迁移策略的时延总和目标函数,将所述时延总和目标函数得到的负值作为奖励值,所述时延总和目标函数表示为: ,其中,t表示时隙, 表示时隙t的迁移决策, 表示移动用户的迁移时延, 表示计算时延, 表示总通信时延, 表示总安全时延;

将迁移问题建模为部分可观察马尔可夫决策过程模型,所述部分可观察马尔可夫决策过程模型与融入了长短期记忆神经网络的近似策略优化深度学习算法相结合,以构建潜在空间模型:通过所述长短期记忆神经网络提取历史信息,通过观测模型和隐藏状态转移模型构成的编码器模型从所述历史信息中推测出整体状态,通过确定性状态转移模型和隐藏状态转移模型构成的奖励模型获得奖励值,其中:确定性状态转移模型表示为,隐藏状态转移模型表示为 ,观测模型表示为,奖励模型表示为 ,编码器 模型表 示为

,其中,P表示状态转移概率, 表示LSTM网络函数, 表示t时隙的确定性状态,确定性状态转移模型表述为t‑1时隙输入确定性状态 和迁移决策动作得到确定性状态 的状态转移概率, 表示t时隙的隐藏状态,隐藏状态转移模型表述为t‑1时隙输入隐藏状态 、确定性状态 和迁移决策动作 得到隐藏状态的状态转移概率, 表示t时隙的观测状态,观测模型表述为t时隙输入隐藏状态 和确定性状态 得到观测状态 的状态转移概率, 表示t时隙的奖励状态,奖励模型表述为t时隙输入隐藏状态 和确定性状态 得到奖励状态 的状态转移概率, 表示整体状态,编码器模型表述为t时隙输入隐藏状态 和观测状态 得到整体状态 的状态转移概率;

所述近似策略优化深度学习算法包括演员‑评论家算法,以所述隐藏状态 作为输入,分别用 和 表示演员网络和评论家网络的参数,演员网络的目标是逼近策略,用于在给定的t时隙输出动作空间上的分布,评论家网络近似价值,用于从 开始并随后遵循策略 时的预期回报的估计,逼近策略的函数定义为: ,近似价值的函数定义为:,其中, 表示时隙t的动作决策 和整体状态 的转移概率策略, 是衰减系数, 为即时奖励, 值随着状态不同而变化, 表示从开始到结束,E表示价值期望值;

使用优势函数 作为所述评论家网络的评估函数,参数化优势函数 表示为:,其中, 是动作价值函数, 是状态价值函

数,引入广义优势函数 来控制偏差和方差之间的平衡,广义优势 表示为:,其中,r表示奖励, 用于调整方差和偏差之间的权衡,t‑q表示从零开始到时隙T结束, 是时隙差分误差, 是状态价值函数,,其中, 表示时隙t的奖励, 是时隙t+1的状态价值函数,是衰减系数, 是时隙t的状态价值函数;

所述评论家网络的策略函数的损失函数定义为:

,所述演员网络的损失

函数定义为:

,其中,

表示评论家网格, 表示演员网格,分别用 和 表示演员网络和评论家网络的参数, 表示遵循轨迹 的策略 期望值, 为重要性采用比例,表示目标函数与当前函数的比值,Clip表示将( )范围外的数值裁剪掉的剪辑函数, 表示定义的常数, 表示广义优势函数, 表示策略的熵, 是熵系数;

将所述训练集对所述潜在空间模型进行循环训练,直至所述奖励值最大化,以得到优化后的迁移决策模型;

将所述验证集输入所述优化后的迁移决策模型,最终得到移动用户的最优安全服务迁移决策。

2.根据权利要求1所述的安全服务迁移方法,其特征在于,所述迁移时延表示为:,

其中, 表示迁移延迟系数, 表示当前服务节点与前一个服务节点之间的跳距;

所述计算时延表示为:

,

其中, 表示完成计算服务所需CPU周期数, 表示由用户生成的服务中的计算卸载比例, 表示服务节点的计算能力, 表示分配给服务的计算资源比率;

所述总通信时延表示为:

,

其中, 表示处理卸载服务所需的CPU周期之和, 为上传的服务数据大小,表示信道容量, 表示基站到边缘服务器的平均数据传输速率, 表示通过回程网络从基站到边缘服务器所需跳数;

所述总安全时延表示为:

,

其中, , ,

其中, , 表示决策变量, 表示时隙t的安全漏洞时延, 表示时隙t的安全保护延迟, 表示服务安全保护等级, 表示预期安全保护等级,M表示总任务数量,L表示总安全保护等级数量, 表示不同的安全保护等级对应的延迟系数。

3.根据权利要求2所述的安全服务迁移方法,其特征在于,所述将迁移问题建模为部分可观察马尔可夫决策过程模型,所述部分可观察马尔可夫决策过程模型与融入了长短期记忆神经网络的近似策略优化深度学习算法相结合,以构建潜在空间模型的步骤包括:通过最小化所述演员网络和所述评论家网络的损失函数,进行梯度更新 和 的参数。

4.一种移动边缘计算场景中的安全服务迁移系统,其特征在于,所述系统包括:获取数据并预处理模块,用于获取移动用户的移动轨迹,对所述移动轨迹标注出不同时刻的轨迹位置,以形成轨迹数据集,将所述轨迹数据集划分为训练集和验证集;

构建系统网络模型模块,用于根据所述轨迹数据集模拟真实目标场景,以构建系统网络模型,根据所述系统网络模型设定迁移策略的时延总和目标函数,将所述时延总和目标函数得到的负值作为奖励值,所述时延总和目标函数表示为:,其中,t表示时隙, 表示时隙t的迁移决策,

表示移动用户的迁移时延, 表示计算时延, 表示总通信时延, 表示总安全时延;

潜在空间模型训练模块,用于将迁移问题建模为部分可观察马尔可夫决策过程模型,所述部分可观察马尔可夫决策过程模型与融入了长短期记忆神经网络的近似策略优化深度学习算法相结合,以构建潜在空间模型:通过所述长短期记忆神经网络提取历史信息,通过观测模型和隐藏状态转移模型构成的编码器模型从所述历史信息中推测出整体状态,通过确定性状态转移模型和隐藏状态转移模型构成的奖励模型获得奖励值,其中:确定性状态转移模型表示为,隐藏状态转移模型表示为 ,观测模型表示为,奖励模型表示为 ,编码器 模型表 示为

,其中,P表示状态转移概率, 表示LSTM网络函数, 表示t时隙的确定性状态,确定性状态转移模型表述为t‑1时隙输入确定性状态 和迁移决策动作得到确定性状态 的状态转移概率, 表示t时隙的隐藏状态,隐藏状态转移模型表述为t‑1时隙输入隐藏状态 、确定性状态 和迁移决策动作 得到隐藏状态的状态转移概率, 表示t时隙的观测状态,观测模型表述为t时隙输入隐藏状态 和确定性状态 得到观测状态 的状态转移概率, 表示t时隙的奖励状态,奖励模型表述为t时隙输入隐藏状态 和确定性状态 得到奖励状态 的状态转移概率, 表示整体状态,编码器模型表述为t时隙输入隐藏状态 和观测状态 得到整体状态 的状态转移概率;

所述近似策略优化深度学习算法包括演员‑评论家算法,以所述隐藏状态 作为输入,分别用 和 表示演员网络和评论家网络的参数,演员网络的目标是逼近策略,用于在给定的t时隙输出动作空间上的分布,评论家网络近似价值,用于从 开始并随后遵循策略 时的预期回报的估计,逼近策略的函数定义为: ,近似价值的函数定义为:,其中, 表示时隙t的动作决策 和整体状态 的转移概率策略, 是衰减系数, 为即时奖励, 值随着状态不同而变化, 表示从开始到结束,E表示价值期望值;

使用优势函数 作为所述评论家网络的评估函数,参数化优势函数 表示为:,其中, 是动作价值函数, 是状态价值函

数,引入广义优势函数 来控制偏差和方差之间的平衡,广义优势 表示为:,其中,r表示奖励, 用于调整方差和偏差之间的权衡,t‑q表示从零开始到时隙T结束, 是时隙差分误差, 是状态价值函数,,其中, 表示时隙t的奖励, 是时隙t+1的状态价值函数,是衰减系数, 是时隙t的状态价值函数;

所述评论家网络的策略函数的损失函数定义为:

,所述演员网络的损失

函数定义为:

,其中,

表示评论家网格, 表示演员网格,分别用 和 表示演员网络和评论家网络的参数, 表示遵循轨迹 的策略 期望值, 为重要性采用比例,表示目标函数与当前函数的比值,Clip表示将( )范围外的数值裁剪掉的剪辑函数, 表示定义的常数, 表示广义优势函数, 表示策略的熵, 是熵系数;

将所述训练集对所述潜在空间模型进行循环训练,直至所述奖励值最大化,以得到优化后的迁移决策模型;

迁移决策模块,用于将所述验证集输入所述优化后的迁移决策模型,最终得到移动用户的最优安全服务迁移决策。

5.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;

所述处理器用于执行所述存储器上所存放的计算机程序时,实现如权利要求1‑3任一项所述的一种移动边缘计算场景中的安全服务迁移方法。