1.一种端到端层次解码任务型对话系统,其特征在于,包括:
句子编码器模块,将第l轮输入的自然语言句子ul(由T个词构成{w1,w2,...,wT})通过双向循环神经网络(BiLSTM)编码输出为固定长度的向量对话历史编码器模块,用于将对话历史通过单向循环神经网络编码为sl:用户意图引入模块,用于输入对话历史和当前用户句子的embedding,通过采样得到用户的意图表示数据库检索模块,用于输入由用户输入的自然语言句子提取的槽,在数据库中做检索,返回一个变量dl,表示数据库中是否存在满足需求的数据;
解码输出模块,模块输入对话历史sl、用户句子的embedding 数据库的返回变量dl以及用户意图隐变量zl,输出自然语言句子作为系统对用户输入的回复:其中,ul为第l轮对话用户输入的自然语言句子, 为第l轮对话用户输入的自然语言句子中的第t个词,sl对话历史通过Istm在第l论的对话状态表示,rl是指系统在第l轮的response, 指的是服从多项式分布的随机变量,表示用户的intention,dl检索数据库的返回变量,如果数据库中存在数据,则返回1;反之,则返回0, 指的是第l论对话用户输入的句子的emebdding。
2.如权利要求1所述的端到端层次解码任务型对话系统,其特征在于,模型的优化目标函数为:
3.如权利要求1所述的端到端层次解码任务型对话系统,其特征在于,还包括无监督学习模块,使用精确最大似然和变分近似的方法求解,精确最大似然:变分近似:引入变分分布q(zl|rl,ul),使用变分下界作为优化目标函数:
4.如权利要求3所述的端到端层次解码任务型对话系统,其特征在于,还包括半监督学习模块,用于在给定少量的用户Intention标注的情况下,得到如下的目标函数:精确最大似然:变分近似:
其中, 是标注的用户intention。
5.如权利要求4所述的端到端层次解码任务型对话系统,其特征在于,在无监督和半监督学习的基础上,引入强化学习的范式,单独优化intention模块: