欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2015109833782
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种测试领域任务型对话系统的方法,其特征在于,所述方法包括:

获取领域任务型对话系统输出的询问信息;

在预先构建的任务数据库中获取单条任务信息,其中,所述任务数据库包括多条任务信息,每一条任务信息包括多组键值对,每组键值对包括关键词及关联所述关键词的实例;

向所述领域任务型对话系统提交由所述单条任务信息中的键值对生成的答复信息;

根据领域任务型对话系统输出的询问信息以及依据所述任务数据库提交的答复信息,生成对所述领域任务型对话系统的测试数据,包括:响应于所述询问信息的键值对与当前任务信息中的键值对相同,确定关键词准确,将所述任务数据库中用于生成答复信息的关键词准确的数量除以所述任务数据库中关键词用于生成答复信息的数量,得到关键词准确率。

2.根据权利要求1所述的方法,其特征在于,所述向所述领域任务型对话系统提交由所述单条任务信息中的键值对生成的答复信息包括:向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息,其中,所述预设用户类型至少包括以下一项或多项:系统引导类型、核对查询类型和随机查询类型。

3.根据权利要求2所述的方法,其特征在于,所述向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息至少包括以下一项或多项:若所述预设用户类型包括系统引导类型,向所述领域任务型对话系统提交基于从所述单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息;

若所述预设用户类型包括核对查询类型,核对所述询问信息的关键词是否符合上一次提交的答复信息的关键词,若符合,则向所述领域任务型对话系统提交基于从所述单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息,若不符合,则向所述领域任务型对话系统提交基于上一次答复信息的键值对生成的答复信息;

若所述预设用户类型包括随机查询类型,向所述领域任务型对话系统提交基于从所述单条任务信息中随机获取的键值对生成的答复信息。

4.根据权利要求3所述的方法,其特征在于,所述向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息包括:向所述领域任务型对话系统提交符合所述预设用户类型的由所述单条任务信息中的键值对套用预设的键值对的表达模板之一生成的答复信息。

5.根据权利要求1-4之一所述的方法,其特征在于,所述根据领域任务型对话系统输出的询问信息以及依据所述任务数据库提交的答复信息,生成对所述领域任务型对话系统的测试数据至少还包括以下一项或多项:将领域任务型对话系统输出的询问信息的数量及依据所述任务数据库提交的答复信息的数量相加后除以所述任务数据库中包括的任务信息的数量,得到平均对话长度;

将依据所述任务数据库提交的答复信息及所答复的询问信息中已完成任务信息的数量除以所述任务数据库中包括的任务信息的数量,得到对话完成率,其中,所述已完成任务信息为基于每一组键值对已提交答复信息的任务信息;

遍历所述任务数据库中的关键词,将所述关键词准确率进行累加,得到对话系统准确率。

6.根据权利要求5所述的方法,其特征在于,所述领域任务型对话系统输出的询问信息的结构如下:其中,M表示所述领域任务型对话系统输出的询问信息的结构,Ask_key_slot表示当前所述领域任务型对话系统的询问信息的关键词,n表示询问信息的关键词的数量,sj(1≤j≤n)表示询问信息中第j个关键词,vj表示sj的实例值,Result_information表示当前所述领域任务型对话系统基于预设的检索库检索到的关键词的实例,用一个2列的矩阵表示,所述矩阵的第一列表示关键词,第二列表示关键词的实例值;

所述领域任务型对话系统输出的询问信息所基于的任务信息的定义如下:

(one dialoguetask)D=[s1 Λ sn]

其中,(one dialogue task)D表示询问信息所基于的任务信息,n表示询问信息所基于的任务信息的关键词的数量,sj(1≤j≤n)表示询问信息所基于的任务信息中第j个关键词;

所述任务数据库的定义如下:

其中,T为以矩阵的形式表示的任务数据库,矩阵的每一行定义一条任务信息,矩阵中的元素是任务数据库中任务信息的关键词,即Sij(1≤i≤m,1≤j≤n)表示任务数据库中第i个任务信息的第j个关键词。

7.根据权利要求6所述的方法,其特征在于,所述将领域任务型对话系统输出的询问信息的数量及依据所述任务数据库提交的答复信息的数量相加后除以所述任务数据库中包括的任务信息的数量,得到平均对话长度包括:其中,al为平均对话长度;qsds为领域任务型对话系统输出的询问信息的数量;qeval为依据所述任务数据库提交的答复信息的数量;m为以矩阵的形式表示的任务数据库T的行数;

所述将依据所述任务数据库提交的答复信息及所答复的询问信息中已完成任务信息的数量除以所述任务数据库中包括的任务信息的数量,得到对话完成率包括:其中,dfr为对话完成率;m为矩阵T的行数;df表示依据所述任务数据库T提交的答复信息及所答复的询问信息中已完成任务信息的数量,当任务信息的每一组键值对均已提交答复信息时,所述任务信息为已完成任务信息;

所述将所述任务数据库中用于生成答复信息的关键词准确的数量除以所述任务数据库中关键词用于生成答复信息的数量,得到关键词准确率包括:其中,ksrs表示关键词s的准确率;as表示以矩阵形式表示的任务数据库T中关键词s用于准确生成答复信息的数量,在每次生成答复信息时,将所述结构化信息M中的Result_information与T的当前任务信息进行对比,若对比结果相同,则关键词s准确;ts表示在所述任务数据库T中关键词s用于生成答复信息的总次数;

所述遍历所述任务数据库中的关键词,将所述关键词准确率进行累加,得到对话系统准确率包括:其中,dar表示对话系统准确率;ksrs表示关键词s的准确率;∑表示遍历所有的关键词s,将所述ksrs进行累加。

8.一种测试领域任务型对话系统的装置,其特征在于,所述装置包括:

询问信息获取模块,用于获取领域任务型对话系统输出的询问信息;

任务信息获取模块,用于在预先构建的任务数据库中获取单条任务信息,其中,所述任务数据库包括多条任务信息,每一条任务信息包括多组键值对,每组键值对包括关键词及关联所述关键词的实例;

答复信息提交模块,用于向所述领域任务型对话系统提交由所述单条任务信息中的键值对生成的答复信息;

测试数据生成模块,用于根据领域任务型对话系统输出的询问信息以及依据所述任务数据库提交的答复信息,生成对所述领域任务型对话系统的测试数据,包括:关键词准确率生成模块,用于响应于生成答复信息的关键词与当前任务信息中的关键词相同,确定关键词准确,将所述任务数据库中用于生成答复信息的关键词准确的数量除以所述任务数据库中关键词用于生成答复信息的数量,得到关键词准确率。

9.根据权利要求8所述的装置,其特征在于,所述答复信息提交模块进一步用于:

向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息,其中,所述预设用户类型至少包括以下一项或多项:系统引导类型、核对查询类型和随机查询类型。

10.根据权利要求9所述的装置,其特征在于,所述答复信息提交模块至少包括以下一项或多项:系统引导提交模块,用于若所述预设用户类型包括系统引导类型,向所述领域任务型对话系统提交基于从所述单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息;

核对查询提交模块,用于若所述预设用户类型包括核对查询类型,核对所述询问信息的关键词是否符合上一次提交的答复信息的关键词,若符合,则向所述领域任务型对话系统提交基于从所述单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息,若不符合,则向所述领域任务型对话系统提交基于上一次答复信息的键值对生成的答复信息;

随机查询提交模块,用于若所述预设用户类型包括随机查询类型,向所述领域任务型对话系统提交基于从所述单条任务信息中随机获取的键值对生成的答复信息。

11.根据权利要求9所述的装置,其特征在于,所述答复信息提交模块进一步用于:

向所述领域任务型对话系统提交符合所述预设用户类型的由所述单条任务信息中的键值对套用预设的键值对的表达模板之一生成的答复信息。

12.根据权利要求8-11之一所述的装置,其特征在于,所述测试数据生成模块至少还包括以下一项或多项:平均对话长度生成模块,用于将领域任务型对话系统输出的询问信息的数量及依据所述任务数据库提交的答复信息的数量相加后除以所述任务数据库中包括的任务信息的数量,得到平均对话长度;

对话完成率生成模块,用于将依据所述任务数据库提交的答复信息及所答复的询问信息中已完成任务信息的数量除以所述任务数据库中包括的任务信息的数量,得到对话完成率,其中,所述已完成任务信息为基于每一组键值对已提交答复信息的任务信息;

对话系统准确率生成模块,用于遍历所述任务数据库中的关键词,将所述关键词准确率进行累加,得到对话系统准确率。

13.根据权利要求12所述的装置,其特征在于,所述询问信息获取模块获取的所述领域任务型对话系统输出的询问信息的结构如下:其中,M表示所述领域任务型对话系统输出的询问信息的结构,Ask_key_slot表示当前所述领域任务型对话系统的询问信息的关键词,n表示询问信息的关键词的数量,sj(≤j≤n)表示询问信息中第j个关键词,vj表示sj的实例值,Result_information表示当前所述领域任务型对话系统基于预设的检索库检索到的关键词的实例,用一个2列的矩阵表示,所述矩阵的第一列表示关键词,第二列表示关键词的实例值;

所述询问信息获取模块获取的所述领域任务型对话系统输出的询问信息所基于的任务信息的定义如下:(one dialogue task)D=[s1 Λ sn]

其中,(one dialogue task)D表示询问信息所基于的任务信息,n表示询问信息所基于的任务信息的关键词的数量,sj(1≤j≤n)表示询问信息所基于的任务信息中第j个关键词;

所述任务信息获取模块获取所述单条任务信息所调用的所述任务数据库的定义如下:

其中,T为以矩阵的形式表示的任务数据库,矩阵的每一行定义一条任务信息,矩阵中的元素是任务数据库中任务信息的关键词,即Sij(1≤i≤m,1≤j≤n)表示任务数据库中第i个任务信息的第j个关键词。

14.根据权利要求13所述的装置,其特征在于,所述平均对话长度生成模块中的所述将领域任务型对话系统输出的询问信息的数量及依据所述任务数据库提交的答复信息的数量相加后除以所述任务数据库中包括的任务信息的数量,得到平均对话长度包括:其中,al为平均对话长度;qsds为领域任务型对话系统输出的询问信息的数量;qeval为依据所述任务数据库提交的答复信息的数量;m为以矩阵的形式表示的任务数据库T的行数;

所述对话完成率生成模块中的所述将依据所述任务数据库提交的答复信息及所答复的询问信息中已完成任务信息的数量除以所述任务数据库中包括的任务信息的数量,得到对话完成率包括:其中,dfr为对话完成率;m为矩阵T的行数;df表示依据所述任务数据库T提交的答复信息及所答复的询问信息中已完成任务信息的数量,当任务信息的每一组键值对均已提交答复信息时,所述任务信息为已完成任务信息;

所述关键词准确率生成模块中的所述将所述任务数据库中用于生成答复信息的关键词准确的数量除以所述任务数据库中关键词用于生成答复信息的数量,得到关键词准确率包括:其中,ksrs表示关键词s的准确率;as表示以矩阵形式表示的任务数据库T中关键词s用于准确生成答复信息的数量,在每次生成答复信息时,将所述结构化信息M中的Result_information与T的当前任务信息进行对比将所述结构化信息M中的Result_information与T的当前任务信息进行对比,若对比结果相同,则关键词s准确;ts表示在所述任务数据库T中关键词s用于生成答复信息的总次数;

所述对话系统准确率生成模块中的所述遍历所述任务数据库中的关键词,将所述关键词准确率进行累加,得到对话系统准确率包括:其中,dar表示对话系统准确率;ksrs表示关键词s的准确率;∑表示遍历所有的关键词s,将所述ksrs进行累加。