1.一种任务型对话模型训练方法,其特征在于,包括:利用生成器生成用户目标,所述用户目标包括:请求和约束,所述请求为完成对话任务所需的缺失信息,所述约束为完成对话任务必须满足的要求;
抽取所述用户目标,利用对话模型根据对话策略从对话动作数据集中抽取对话动作;
采用对话跟踪器通过记录用户目标中的用户约束的信息和指示用户要查询的内容来更新对话状态,给定一个对话动作,对话跟踪器会根据其槽值更新其槽类型的信念状态;
判断所述对话策略是否完成且所述对话动作是否满足所述用户目标,若是,则按照第一奖励策略生成所述生成器的正向奖励,若所述对话策略完成且所述对话动作没有满足所述用户目标,则按照所述第一奖励策略生成所述生成器的负向奖励;
所述第一奖励策略,包括
,
其中,rT表示所述生成器的奖励,+α和-β表示所述生成器的正奖励和负奖励,t+表示对话轮次,t*为所述对话策略中定义的对话轮次阈值区间;
对话模型会因完成生成器的目标而得到累计折扣奖励,若所述对话动作满足所述用户目标,则按照第二奖励策略生成所述对话模型的正向奖励;
所述第二奖励策略,包括
,
其中,r表示所述对话模型的奖励。
2.如权利要求1所述的方法,其特征在于,所述抽取所述用户目标,利用对话模型根据对话策略从对话动作数据集中抽取对话动作,包括:根据所述对话策略确定所述对话动作数据集中的所述对话动作;
更新确定的所述对话动作的槽值以及所述对话动作槽类型的信念状态。
3.如权利要求1所述的方法,其特征在于,还包括:记录所述对话模型与所述生成器的交互元组,所述交互元组包括:多个所述交互元组组成轨迹段,其中,为对话模型的状态,为对话模型的行为,rt为对话奖励值,为用户模型的状态,为用户模型的行为;存储所述轨迹段。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:从存储的多个所述轨迹段中随机抽取所述轨迹段,采用近端优化策略优化所述对话策略。
5.一种智能对话模型训练装置,包括:
生成器,利用生成器生成用户目标,所述用户目标包括:请求和约束,所述请求为完成对话任务所需的缺失信息,所述约束为完成对话任务必须满足的要求;
抽取所述用户目标,利用对话模型根据对话策略从对话动作数据集中抽取对话动作;
采用对话跟踪器通过记录用户目标中的用户约束的信息和指示用户要查询的内容来更新对话状态,给定一个对话动作,对话跟踪器会根据其槽值更新其槽类型的信念状态;
奖励模块,判断所述对话策略是否完成且所述对话动作是否满足所述用户目标,若是,则按照第一奖励策略生成所述生成器的正向奖励,若所述对话策略完成且所述对话动作没有满足所述用户目标,则按照所述第一奖励策略生成所述生成器的负向奖励;
所述第一奖励策略,包括:
,
其中,rT表示所述生成器的奖励,+α和-β表示所述生成器的正奖励和负奖励,t+表示对话轮次,t*为所述对话策略中定义的对话轮次阈值区间;
对话模型会因完成生成器的目标而得到累计折扣奖励,若所述对话动作满足所述用户目标,则按照第二奖励策略生成所述对话模型的正向奖励;
所述第二奖励策略,包括:
,
其中,r表示所述对话模型的奖励。
6.一种电子设备,其特征在于,包括:
一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如权利要求1~4中任一所述的方法。
7.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1~4中任一所述的方法。