欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018115709377
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于:(1)将原始数据文件平均分成5个组,每组对应一个子数据集,对这些数据集中的各个数据项进行预处理,生成候选数据集;

(2)读取步骤(1)所述的候选数据集,设定算法的输入参数包括学习率η,折扣因子γ,奖励函数R,随机初始化学习参数w,中间参数Δw初始化为0;

(3)读取步骤(2)所述的参数,完成取样序列E,返回一个序列E;

(4)计算步骤(2)所述的取样序列E的长期累积折扣奖励;

(5)计算在时间步t参数w的梯度,并计算更新中间参数Δw;

(6)重复步骤(3)到(5),计算更新参数w,直至参数收敛,程序结束。

2.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于所述步骤(3)具体包括以下步骤:

11)初始化环境状态st和序列E;

12)假设查询q所检索到的文档有M个,对于排序过程在时间步t=0至t=M-1,根据马尔可夫决策过程模型的策略,由当前环境的状态st选择一个动作at;

其中,A(st)是当前环境状态st下所有可选择的动作集合,t表示时间步,假设at∈A(st)是当前环境的状态st选择的一个动作, 是该选择动作at对应的文档,m(at)是动作at对应的文档的索引,w是模型参数,其维度与文档特征一致;

13)应用奖励函数R,计算在该环境状态st下选择动作at的奖励回报rt+1;

其中, 是所选择动作文档 的相关性标签,t表示时间步;

14)根据状态转移函数,改变环境状态st至st+1;

15)应用欧式距离,计算所选动作at的k个最近邻动作;

16)将14)计算出的k个最近邻动作,从候选文档集中删除;

17)添加元组(st,at,rt+1)至序列E中,完成一个位置排序;

18)完成M次采样序列,得到序列(s0,a0,r1,……,sM-1,aM-1,rM)。

3.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于:所述步骤(4)中计算步骤(2)所述的取样序列的累积长期折扣奖励,并用Gt表示:其中,γ是预先设定的折扣因子,γk-1表示随着时间步t的增加,折扣因子的作用逐渐减小的变化,rt+k表示从时间步t=0开始的奖励回报。

4.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于所述步骤(5)具体包括以下步骤:

21)计算在时间步t的参数w的梯度,并用 表示其中,A(t)是当前环境状态st下所有可选择的动作集合,t表示时间步, 是选择的动作at对应的文档,m(at)是动作at对应的文档的索引,w是模型参数,其维度与文档特征一致;

22)计算更新在所有时间步t的累积梯度,并用 表示:其中,γt是随时间步t的增加,折扣因子逐渐减小的表示,Gt是从时间步t=0直至t=M-

1的取样序列的累积长期折扣奖励, 是在时间步t的模型参数w的梯度;

23)计算更新中间参数Δw,并用Δw表示:t

其中,γ是随时间步t的增加,折扣因子逐渐减小的表示,Gt是从时间步t=0直至t=M-

1的取样序列的累积长期折扣奖励, 是在时间步t的模型参数w的梯度。

5.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于所述步骤(6)具体包括以下步骤:

31)计算更新参数w,并用w表示:

w=w+Δw;(8)

其中,w是模型参数,其维度与文档特征一致,Δw是模型的中间参数。