欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020110711147
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多步新奇度的时态序列迭代预测算法,其特征在于,步骤如下:

S1、基于时态序列数据,使用神经网络和强化学习算法分别建立内部模型和外部模型;

初始化一个用于保存内部模型预测信息的多维经验矩阵,并将其作为更新基底;

S2、外部模型与时态序列数据交互,从而进行抽样训练,不断迭代更新外部模型;在每一次交互过程中,外部模型从时态序列数据获取当前的状态和奖励,并输出当前状态、行为和预测的执行行为后的状态;

S3、外部模型每迭代一次,内部模型接收外部模型的输出,并对当前时间节点下外部模型预测的状态往后进行多步预测,多步预测信息存储到多维经验矩阵中;把预测的状态与实际发生的状态和奖励之间的对比作为损失函数,不断迭代更新内部模型;

S4、基于概率分布距离定义新奇度;

在外部模型的每一次迭代,从多维经验矩阵中抽出该次迭代所对应的元素,并将所抽取的元素分别和外部模型预测的状态进行比较,计算出相应的新奇度,新奇度代表了外部模型预测的状态和内部模型预测的状态之间的差异;

基于新奇度不断迭代更新外部模型和内部模型,使外部模型和内部模型不断收敛,多维经验矩阵所存储的预测信息根据时间节点不断更新。

2.根据权利要求1所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,多维经验矩阵中的每一行为一个保存预测信息的元组;内部模型把外部模型与环境交互产生的单个状态和执行行为的概率分布作为输入,经过内部模型的多步预测会输出长度为N的元组,每个元组元素包括了两个参数,分别为预测的下一个状态和执行行为的概率分布;

多维经验矩阵的行数和列数等于内部模型所需的迭代总次数N,第一行用来存储第1步~第N步的预测信息,第二行用来存储第2步~第N+1步的预测信息,以此类推,第N行用来存储第N步~第2N步的预测信息。

3.根据权利要求1所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,外部模型采用深度强化学习模型,并基于训练样本,使用off‑policy方法进行训练;

外部模型迭代更新是根据新奇度和环境奖励之和,新奇度决定了外部模型探索环境的积极性,新奇度越大,探索新环境的概率越高;随着外部模型的每一次迭代更新,内部模型接收外部模型的输出,也相应进行迭代更新。

4.根据权利要求3所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,内部模型和外部模型的神经网络类型包括但不限于多层感知机、卷积神经网络和循环神经网络。

5.根据权利要求3所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,外部模型为Actor‑Critic模型,Actor网络模型用于根据当前状态输出应当执行的行为,Critic网络模型用于根据当前的状态进行奖励评价,确认当前状态的价值;

整个外部模型按照如下更新公式进行更新:

δ=rt(st,at)+vω(st+1)‑vω(st)    (公式1)其中,ω表示为Critic模型的网络参数;θ表示为Actor模型的网络参数;t表示迭代过θ ω程中的某一时刻; 表示为梯度优化的方向;α和α分别表示Actor模型网络的学习率和Critic模型网络的学习率;

在公式1中,δ为计算一次迭代的TD‑error;rt(st,at)为在t时刻下,外部模型所处的状态s和执行动作a后获取的环境奖励和新奇度的总和;vω(st)表示为在t时刻下Critic模型对当前状态的估值;则vω(st+1)表示为在t+1时刻下Critic模型对当前状态的估值;

公式2为Critic模型网络参数的更新公式;公式3为Actor模型网络参数的更新公式,其中πθ(at|st)为Actor模型根据t时刻的状态生成的行为的概率分布。

6.根据权利要求1所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,内部模型由ICM模型进行改进得到,其包含有三个模块,分别为特征提取模块、连接特征提取模块的两个推理模块,其中一个推理模块作为前向模块,另一个模块作为逆向模块;

外部模型每迭代一次,内部模型进行多步预测的过程如下:

(1)内部模型接收当前状态和行为,并将当前状态输入到特征提取模块来提取当前状态的特征;

(2)将当前状态的特征和行为输入前向模块,利用前向模块推理出下一个状态的特征;

(3)将当前状态的特征和下一个状态的特征输入逆向模块,利用逆向模块推理出执行的行为概率分布;

(4)最后把执行的行为概率分布和下一次可能达到的状态的特征保存在多维经验矩阵中;

(5)重复上述步骤(1)~(4)过程,直至完成向后的多个时间节点的预测;

内部模型更新的过程如下:

根据当前外部模型的迭代次数与所需的迭代总次数之间的余数,从经验矩阵中抽取出行数加上列数等于余数的两倍的元素,将该元素与外部模型预测的状态进行对比得出新奇度,并使用向量保存,从而得到新奇度向量,根据新奇度更新内部模型,使内部模型不断向外部模型靠拢。

7.根据权利要求1所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,特征提取模块、前向模块和逆向模块均为单层全连接网络。

8.根据权利要求1所述的基于多步新奇度的时态序列迭代预测算法,其特征在于,新奇度采用常规的概率分布距离,包括交叉熵、KL散度、Wasserstein距离。

9.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1至8中任一项所述的基于多步新奇度的时态序列迭代预测算法。

10.一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1至8中任一项所述的基于多步新奇度的时态序列迭代预测算法。