欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019102484276
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向智能问答系统的最优答案选择方法,其特征在于,包括如下步骤:

S01,将问题与候选答案去除标点符号,之后将每一个词转换成预训练的词向量,这样每个句子都表示为一个矩阵Xinput;

S02,将词向量与位置编码PE相加,pos代表位置,i表示输入句子的长度,dmodel表示词向量的维度,经过这样的处理,每一输入的每一维都对应这一个正弦曲线,而正弦曲线中含有了位置信息;

其中,PE(pos,2i)和PE(pos,2i+1)分别代表词向量中奇数位置和偶数位置的位置编码,将得到一个矩阵Xp;

S03,将矩阵Xp经过规范化,再通过滑动窗口运算,并将其结果与矩阵Xp相加,得到运算结果矩阵Xc,滑动窗口运算具体如下:当给定一个序列X=[x1,x2,…,xn],其中xi表示X中的第i维列向量,每一维列向量的维度为d,F表示一个宽度为m,高度与xi维度一致的滑动窗口矩阵,Fk,j表示F中第k行第j列的值,在X中以xi作为第一列的m个列向量的滑动窗口运算将会得到oi,在得到oi后,需要增加偏置向量ei并通过增加激活函数σ得到结果zi,对X中每一维列向量xi执行上述运算,将得到一个n维向量z,用d个不同的滑动窗口,将每个滑动窗口得到的z作为行向量将得到矩阵Xc,其中oi和zi的计算方式如下:zi=σ(oi+ei)         (7);

S04,将矩阵Xc规范化,并通过一次整体加权平均运算,得到矩阵Xat,整体加权平均运算具体为:当给定一个序列X=[x1,x2,…,xn]和一个向量表示q时,其中xi表示X中的第i维列向量,首先需要得到xi的权重,该权重与q相关,该权重通过函数f(xi,q)求得,该结果用于表明二者之间的相关程度;接着使用归一化的指数函数得到p(y|X,q),其意义在于在当前任务中哪一个xi对于该q更加重要,最后,通过该权重获得加权平均后的T

f(xi,q)=wσ(Wxxi+Wqq)      (9)

其中,w是权重向量,Wx,Wq为权重转移矩阵,n代表序列X的列数,

通过计算每一个xi与X的整体的关系,从而使得序列中与任务相关的重要信息能够得到加强:sa(X)=[wa(X,x1),wa(X,x2),...,wa(X,xi)]    (11)其中,wa(X,q)代表序列X加权平均后的结果;sa(X)代表序列X整体加权平均后的结果;

S05,对于矩阵Xat,将问题的部分对矩阵行向量求平均得到问题的向量表示oq,通过oq中的信息进行加权平均,得到候选答案的向量表示oa;

S06,将问题的向量oq与候选答案的向量oa计算余弦距离,作为该答案的得分,最后从所有候选答案中选择得分最高的作为结果,候选答案通过问题向量进行加权平均的注意力机制为:候选答案部分在S05中的输出为Hsa,那么经过注意力机制的影响后的答案的向量表示oa可以按如下表示,oa=wa(Hsa,oq)                        (12)。

2.根据权利要求1所述的一种面向智能问答系统的最优答案选择方法,其特征在于,S03和S04中所述的规范化,是对矩阵的每个列向量y进行运算,μ(y)为列向量的平均值,σ(y)为列向量的标准差,g和b为防止规范化后变为标准正态分布所设置的参数,规范化norm的具体计算公式为:其中,h代表列向量y的维度,yi代表列向量y中的每个元素。