欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202010719768X
申请人: 平安普惠企业管理有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2023-07-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种AI客服模型测试方法,其特征在于,所述AI客服模型测试方法包括:当接收到对待测AI客服模型的测试指令时,从语料库中获取预先配置的标准语料,所述标准语料包括输入标准语料及输出标准语料;

基于语义相似算法对所述标准语料进行相似度分析,得到分类语料;

基于预设词库对所述分类语料进行扩展,生成测试样本,包括对于所述分类语料中的每个目标词向量,计算所述目标词向量与所述预设词库中词向量的相似度;从所述预设词库中获取与所述目标词向量的相似度大于或者等于预设相似度的词向量作为所述目标词向量的扩展词向量;将每个目标词向量的扩展词向量添加至所述分类语料,得到所述测试样本,所述测试样本中包括与所述输入标准语料对应的输入数据及与所述输出标准语料对应的期望数据;

将所述输入数据输入至所述待测AI客服模型中,得到输出数据;

以配置脚本调用所述输出数据及所述期望数据,输出对所述待测AI客服模型的测试结果,包括采用POI将所述输出数据及所述期望数据写入Excel,生成excel文件;确定所述excel文件的文件名称及指定接口的接口参数;以所述文件名称及所述接口参数修改所述配置脚本;以修改后的配置脚本调用所述excel文件,输出对所述待测AI客服模型的测试结果。

2.如权利要求1所述的AI客服模型测试方法,其特征在于,所述基于语义相似算法对所述标准语料进行相似度分析,得到分类语料包括:基于自然语言处理将所述标准语料转换为语义向量;

采用余弦相似度算法计算所述语义向量中各个词向量间的余弦距离;

根据所述余弦距离对各个词向量进行分类,得到所述分类语料。

3.如权利要求1所述的AI客服模型测试方法,其特征在于,所述测试结果包括准确率,所述AI客服模型测试方法还包括:获取所述输出数据中与所述期望数据的相似度大于或者等于第一相似度的数据的第一数量;

确定所述输出数据的第二数量;

计算所述第一数量与所述第二数量的商作为所述准确率。

4.如权利要求1所述的AI客服模型测试方法,其特征在于,所述测试结果还包括召回率,所述AI客服模型测试方法还包括:对于任意类别下的第一输出数据,确定所述第一输出数据对应的第一期望数据;

获取所述第一输出数据中与所述第一期望数据的相似度大于或者等于第二相似度的数据的第三数量;

确定所述第一输出数据的第四数量;

计算所述第三数量与所述第四数量的商作为所述任意类别下的召回率。

5.如权利要求1所述的AI客服模型测试方法,其特征在于,所述AI客服模型测试方法还包括:当检测到所述待测AI客服模型有更新时,重新执行对所述待测AI客服模型的检测。

6.一种AI客服模型测试装置,其特征在于,所述AI客服模型测试装置包括:获取单元,用于当接收到对待测AI客服模型的测试指令时,从语料库中获取预先配置的标准语料,所述标准语料包括输入标准语料及输出标准语料;

分析单元,用于基于语义相似算法对所述标准语料进行相似度分析,得到分类语料;

扩展单元,用于基于预设词库对所述分类语料进行扩展,生成测试样本,包括对于所述分类语料中的每个目标词向量,计算所述目标词向量与所述预设词库中词向量的相似度;

从所述预设词库中获取与所述目标词向量的相似度大于或者等于预设相似度的词向量作为所述目标词向量的扩展词向量;将每个目标词向量的扩展词向量添加至所述分类语料,得到所述测试样本,所述测试样本中包括与所述输入标准语料对应的输入数据及与所述输出标准语料对应的期望数据;

输入单元,用于将所述输入数据输入至所述待测AI客服模型中,得到输出数据;

测试单元,用于以配置脚本调用所述输出数据及所述期望数据,输出对所述待测AI客服模型的测试结果,包括采用POI将所述输出数据及所述期望数据写入Excel,生成excel文件;确定所述excel文件的文件名称及指定接口的接口参数;以所述文件名称及所述接口参数修改所述配置脚本;以修改后的配置脚本调用所述excel文件,输出对所述待测AI客服模型的测试结果。

7. 一种电子设备,其特征在于,所述电子设备包括:

存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现如权利要求1至5中任意一项所述的AI客服模型测试方法。

8.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至5中任意一项所述的AI客服模型测试方法。