1.一种基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于:(1)将原始数据文件平均分成5个组,每组对应一个子数据集,对这些数据集中的各个数据项进行预处理,生成候选数据集;
(2)读取步骤(1)所述的候选数据集,设定算法的输入参数包括学习率η,折扣因子γ,奖励函数R,随机初始化学习参数w,中间参数Δw初始化为0;
(3)读取步骤(2)所述的参数,完成取样序列E,返回一个序列E;
(4)计算步骤(2)所述的取样序列E的长期累积折扣奖励;
(5)计算在时间步t参数w的梯度,并计算更新中间参数Δw;
(6)重复步骤(3)到(5),计算更新参数w,直至参数收敛,程序结束。
2.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于所述步骤(3)具体包括以下步骤:
11)初始化环境状态st和序列E;
12)假设查询q所检索到的文档有M个,对于排序过程在时间步t=0至t=M-1,根据马尔可夫决策过程模型的策略,由当前环境的状态st选择一个动作at;
其中,A(st)是当前环境状态st下所有可选择的动作集合,t表示时间步,假设at∈A(st)是当前环境的状态st选择的一个动作, 是该选择动作at对应的文档,m(at)是动作at对应的文档的索引,w是模型参数,其维度与文档特征一致;
13)应用奖励函数R,计算在该环境状态st下选择动作at的奖励回报rt+1;
其中, 是所选择动作文档 的相关性标签,t表示时间步;
14)根据状态转移函数,改变环境状态st至st+1;
15)应用欧式距离,计算所选动作at的k个最近邻动作;
16)将14)计算出的k个最近邻动作,从候选文档集中删除;
17)添加元组(st,at,rt+1)至序列E中,完成一个位置排序;
18)完成M次采样序列,得到序列(s0,a0,r1,……,sM-1,aM-1,rM)。
3.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于:所述步骤(4)中计算步骤(2)所述的取样序列的累积长期折扣奖励,并用Gt表示:其中,γ是预先设定的折扣因子,γk-1表示随着时间步t的增加,折扣因子的作用逐渐减小的变化,rt+k表示从时间步t=0开始的奖励回报。
4.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于所述步骤(5)具体包括以下步骤:
21)计算在时间步t的参数w的梯度,并用 表示其中,A(t)是当前环境状态st下所有可选择的动作集合,t表示时间步, 是选择的动作at对应的文档,m(at)是动作at对应的文档的索引,w是模型参数,其维度与文档特征一致;
22)计算更新在所有时间步t的累积梯度,并用 表示:其中,γt是随时间步t的增加,折扣因子逐渐减小的表示,Gt是从时间步t=0直至t=M-
1的取样序列的累积长期折扣奖励, 是在时间步t的模型参数w的梯度;
23)计算更新中间参数Δw,并用Δw表示:t
其中,γ是随时间步t的增加,折扣因子逐渐减小的表示,Gt是从时间步t=0直至t=M-
1的取样序列的累积长期折扣奖励, 是在时间步t的模型参数w的梯度。
5.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法,其特征在于所述步骤(6)具体包括以下步骤:
31)计算更新参数w,并用w表示:
w=w+Δw;(8)
其中,w是模型参数,其维度与文档特征一致,Δw是模型的中间参数。