1.一种对话模型训练用的用户模型确定方法,其特征在于,包括:采用邻域随机化从专家模拟器中构建用户模型集合,所述用户模型集合中包括至少两个用户模型;
利用具有不同初始参数的多个神经网络模型,分别训练出对应不同对话环境的用户模型,所述初始参数随机生成,所述用户模型的训练目标为:其中,θ为所述用户模型的参数向量,
Mθ是用户模型,
Au是用户模型可用的对话行为的个数,
是用户模型的状态,
at,i是第i个用户模型的动作,
t表示对话回合,T为对话回合的上限值;
将对话模型分别利用所述用户模型集合中不同的所述用户模型训练,获得不同的对话轨迹;
所述用户模型初始化任务目标,所述任务目标包括:约束和请求;
所述对话模型按照不同的所述用户模型生成的所述任务目标分别与所述用户模型对话,获得所述对话轨迹,所述对话轨迹包括:所述对话模型与所述用户模型完成对话后生成的交互元组,所述交互元组包括:对话模型的状态,对话模型的行为、用户模型的状态、用户模型的行为、对话奖励值;
根据如下公式计算多样化比值:
其中,Τi表示i时刻的交互元组,Τj表示j时刻的交互元组,Du用于存储专家模拟器的交互元组,Ds用于存储多样化用户模型的交互元组;
根据所述多样化比值评估所述用户模型是否满足多样化条件,若满足,则获取所述用户模型对应的对话轨迹,若不满足,则不获取所述用户模型对应的对话轨迹;
根据所述对话轨迹并利用基于逆强化学习的评估器评估所述用户模型的对话质量,确定目标用户模型;
根据人类对话轨迹预测人类对话中的对话奖励;
根据所述对话奖励对所述用户模型进行近端策略优化学习确定所述目标用户模型;
将人类对话轨迹构建为玻尔兹曼分布模型;
利用梯度下降法并根据所述玻尔兹曼分布模型预测所述对话奖励;
根据预设的累计折扣收益确定所述用户模型中的最优用户模型;
以所述最优用户模型为基准,计算用户模型集合中其他用户模型与所述最优用户模型的距离;
根据所述距离确定参与训练的所述目标用户模型。
2.一种对话模型训练用的用户模型确定装置,其特征在于,包括:用户模型集合构建模块,采用邻域随机化从专家模拟器中构建用户模型集合,所述用户模型集合中包括至少两个用户模型;
利用具有不同初始参数的多个神经网络模型,分别训练出对应不同对话环境的用户模型,所述初始参数随机生成,所述用户模型的训练目标为:其中,θ为所述用户模型的参数向量,
Mθ是用户模型,
Au是用户模型可用的对话行为的个数,
是用户模型的状态,
at,i是第i个用户模型的动作,
t表示对话回合,T为对话回合的上限值;
训练模块,将对话模型分别利用所述用户模型集合中不同的所述用户模型训练,获得不同的对话轨迹;
所述用户模型初始化任务目标,所述任务目标包括:约束和请求;
所述对话模型按照不同的所述用户模型生成的所述任务目标分别与所述用户模型对话,获得所述对话轨迹,所述对话轨迹包括:所述对话模型与所述用户模型完成对话后生成的交互元组,所述交互元组包括:对话模型的状态,对话模型的行为、用户模型的状态、用户模型的行为、对话奖励值;
根据如下公式计算多样化比值:
其中,Τi表示i时刻的交互元组,Τj表示j时刻的交互元组,Du用于存储专家模拟器的交互元组,Ds用于存储多样化用户模型的交互元组;
根据所述多样化比值评估所述用户模型是否满足多样化条件,若满足,则获取所述用户模型对应的对话轨迹,若不满足,则不获取所述用户模型对应的对话轨迹;
目标模型确定模块,根据所述对话轨迹并利用基于逆强化学习的评估器评估所述用户模型的对话质量,确定目标用户模型;
根据人类对话轨迹预测人类对话中的对话奖励;
根据所述对话奖励对所述用户模型进行近端策略优化学习确定所述目标用户模型;
将人类对话轨迹构建为玻尔兹曼分布模型;
利用梯度下降法并根据所述玻尔兹曼分布模型预测所述对话奖励;
根据预设的累计折扣收益确定所述用户模型中的最优用户模型;
以所述最优用户模型为基准,计算用户模型集合中其他用户模型与所述最优用户模型的距离;
根据所述距离确定参与训练的所述目标用户模型。
3.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如权利要求1中所述的方法。
4.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1中所述的方法。