欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020107793669
申请人: 山西大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于BERT语义表示的阅读理解自动问答方法,其特征在于:包括以下步骤:步骤S1,对背景材料与问题进行形式化处理;

步骤S2,根据停用词表对问题信息进行精简;

步骤S3,通过段落评价对非答案区域的片段进行剔除;

步骤S4,利用BERT模型获取答案候选句集;

步骤S5,通过随机游走模型对候选答案句集进行重排序;

步骤S6,输出排序的前六句作为答案句;

所述步骤S3,通过段落评价对非答案区域的片段进行剔除,还包括以下步骤:步骤S3.1,首先将能够代表段落的句子抽出,计算公式如下所示:其中,sim(s0,si)表示篇章段落中的某个句子Si与问句S0的相关度,sim(Di,si)表示Si与句子所在整个段落Di的相关度,sim(si,sj)表示Si与段落Dj抽取出的句子Sj的相关度,β1,β2用于调节公式(1)中三个部分的权重;β1sim(s0,si)+β2sim(Di,si)表示待抽取句子与问句和整篇文档的相关程度, 表示待抽取句子和已抽取句子的相关程度;

步骤S3.2,将各个段落的句子SDi与问句S0进行相关度计算,返回需要剔除的段落索引Dindex,计算公式如下所示:所述步骤S4,利用BERT模型获取答案候选句集,还包括以下步骤:步骤S4.1,通过BERT模型的输入和输出,获取到问句和答案候选句的特征向量,输入分类器分类;

训练样本:

{(x1,y1,z),(x1,y2,z),...,(x1,yn,z);(x2,y1,z),(x2,y2,z),...,(x2,yn,z);...;(xi,y1,z),(xi,y2,z),...,(xi,yn,z))      (3)其中(xi,y1,z)表示试题中第i个问题对应第n条候选句的类别z,z∈{0,1},z为1表示为答案句,为0表示为非答案句;

步骤S4.2,利用回归模型输出条件概率,概率最大的类别即为当前样本所属的类别,计算公式如下所示:其中,hθ(x,y)表示回归模型的判别函数,θ0和θ1是模型参数,T代表转置;

p(z|xi,yn)可以实现对候选句是否为答案句的概率值的预测,选取概率较大的Top‑15候选句作为BERT模型的输出结果;

所述步骤S4.1中BERT模型的输入是由两个句子组成的句子对,即问句‑答案候选句;

BERT模型的输出是经过多层编码器对应的融合问句和答案候选句信息的语义表示;

所述步骤S5,通过随机游走模型对候选答案句集进行重排序,还包括以下步骤:步骤S5.1,在原始随机游走模型基础上,添加问句信息,形成融合问句信息的随机游走模型,计算公式如下所示:其中,PR(Si)是候选句节点Si的重要度,n表示句子数,d为阻尼因子(0

步骤S5.2,采用word2vec度量问句和BERT模型输出的前15个候选句的相似度,构建16*

16的相似度矩阵,如下所示:

其中,s0si表示问句s0和候选句si的相似度;

预先设定问句的重要度为1,其他候选句重要度为0,按照随机游走模型进行迭代排序。

2.根据权利要求1所述的一种基于BERT语义表示的阅读理解自动问答方法,其特征在于:所述步骤S1,对背景材料与问题进行形式化处理,具体为:通过给定问题s0和材料D=*{s1,s2,…,si},si表示阅读材料中的第i个句子,从材料D中抽取与问题s0最相关的片段A={a1,a2,…,ak},其中ak为材料D中的一个句子,在材料D中答案句之间连续或不连续。

3.根据权利要求2所述的一种基于BERT语义表示的阅读理解自动问答方法,其特征在于:所述步骤S2,根据停用词表对问题信息进行精简,具体为剔除问句中的非关键信息,保留单句中所有的句子成分。

4.根据权利要求3所述的一种基于BERT语义表示的阅读理解自动问答方法,其特征在于:所述步骤S6,输出排序的前六句作为答案句具体方法是:经多次迭代计算,当所有句子的重要度不再发生变化,最终选取Top‑6作为最终的答案句。