1.一种面向智能问答系统的最优答案选择方法,其特征在于,包括如下步骤:
S01,将问题与候选答案去除标点符号,之后将每一个词转换成预训练的词向量,这样每个句子都表示为一个矩阵Xinput;
S02,将词向量与位置编码PE相加,pos代表位置,i表示输入句子的长度,dmodel表示词向量的维度,经过这样的处理,每一输入的每一维都对应这一个正弦曲线,而正弦曲线中含有了位置信息;
其中,PE(pos,2i)和PE(pos,2i+1)分别代表词向量中奇数位置和偶数位置的位置编码,将得到一个矩阵Xp;
S03,将矩阵Xp经过规范化,再通过滑动窗口运算,并将其结果与矩阵Xp相加,得到运算结果矩阵Xc,滑动窗口运算具体如下:当给定一个序列X=[x1,x2,…,xn],其中xi表示X中的第i维列向量,每一维列向量的维度为d,F表示一个宽度为m,高度与xi维度一致的滑动窗口矩阵,Fk,j表示F中第k行第j列的值,在X中以xi作为第一列的m个列向量的滑动窗口运算将会得到oi,在得到oi后,需要增加偏置向量ei并通过增加激活函数σ得到结果zi,对X中每一维列向量xi执行上述运算,将得到一个n维向量z,用d个不同的滑动窗口,将每个滑动窗口得到的z作为行向量将得到矩阵Xc,其中oi和zi的计算方式如下:zi=σ(oi+ei) (7);
S04,将矩阵Xc规范化,并通过一次整体加权平均运算,得到矩阵Xat,整体加权平均运算具体为:当给定一个序列X=[x1,x2,…,xn]和一个向量表示q时,其中xi表示X中的第i维列向量,首先需要得到xi的权重,该权重与q相关,该权重通过函数f(xi,q)求得,该结果用于表明二者之间的相关程度;接着使用归一化的指数函数得到p(y|X,q),其意义在于在当前任务中哪一个xi对于该q更加重要,最后,通过该权重获得加权平均后的T
f(xi,q)=wσ(Wxxi+Wqq) (9)
其中,w是权重向量,Wx,Wq为权重转移矩阵,n代表序列X的列数,
通过计算每一个xi与X的整体的关系,从而使得序列中与任务相关的重要信息能够得到加强:sa(X)=[wa(X,x1),wa(X,x2),...,wa(X,xi)] (11)其中,wa(X,q)代表序列X加权平均后的结果;sa(X)代表序列X整体加权平均后的结果;
S05,对于矩阵Xat,将问题的部分对矩阵行向量求平均得到问题的向量表示oq,通过oq中的信息进行加权平均,得到候选答案的向量表示oa;
S06,将问题的向量oq与候选答案的向量oa计算余弦距离,作为该答案的得分,最后从所有候选答案中选择得分最高的作为结果,候选答案通过问题向量进行加权平均的注意力机制为:候选答案部分在S05中的输出为Hsa,那么经过注意力机制的影响后的答案的向量表示oa可以按如下表示,oa=wa(Hsa,oq) (12)。
2.根据权利要求1所述的一种面向智能问答系统的最优答案选择方法,其特征在于,S03和S04中所述的规范化,是对矩阵的每个列向量y进行运算,μ(y)为列向量的平均值,σ(y)为列向量的标准差,g和b为防止规范化后变为标准正态分布所设置的参数,规范化norm的具体计算公式为:其中,h代表列向量y的维度,yi代表列向量y中的每个元素。