欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116692769
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种结合句法信息和预训练语言模型Chinese BART的中文文本语法纠错方法,其特征在于包括以下步骤:步骤一:导入数据集,将相关数据集转换为目标格式,即源句-目标句这样的语句对形式;

步骤二:词嵌入融合句法信息,利用BERT分词器SentencePiece进行分词和编码处理,获得BART默认的中文文本词嵌入;并利用自然语言处理工具HanLP生成句法信息,包括依存句法树和词性标签,将词性标签和依存关系转化为向量表示,让词向量和词性标签向量分别通过线性层,然后相加,以便得到融合了句法信息的词嵌入;

步骤三:编码器编码,使用句法增强的多头自注意力机制(Syntactic-Attention),对于句法依存关系密切的词对,赋予更高的注意力分数从而使编码器更关注句法结构;在每层编码中,还引入了残差网络结构(Residual Network),将每一层的输入通过残差连接传递给下一层,减少梯度消失问题,提高对输入文本细节的捕捉能力;

步骤四:解码器解码,继续使用掩码多头自注意力机制,让解码器仅在每一步生成时看到先前生成的词;同时使用的交互注意力机制,会关注编码器的输出,结合残差网络让解码器逐步优化生成的句子;句法信息在交互注意力中进一步作为辅助条件,帮助解码器生成符合句法规则的输出;

步骤五:句法信息的Beam Search调优,使用Beam Search来生成多个候选句,然后通过句法规则进行打分,最终选择最合适的输出。

2.根据权利要求1所述的结合句法信息和预训练语言模型Chinese BART的中文文本语法纠错方法,其特征在于所述步骤一中,导入数据集,这里选用NLPCC 2018+HSK数据集,该数据集由两个公开的中文文本语法纠错数据集组成,前者为NLPCC(Natural LanguageProcessing and Chinese Computing)在2018年举办的中文语法纠错比赛中发布的数据集,后者为HSK(汉语水平考试)动态作文语料库,收集了大量外国学生学习中文时的作文文本,包含多种类型的语法错误;通过处理,将两个数据集合二为一,格式为语句对(源句-目标句)。

3.根据权利要求1所述的结合句法信息和预训练语言模型Chinese BART的中文文本语法纠错方法,其特征在于所述步骤二中,词嵌入融合句法信息包含以下步骤:(1)使用BERT分词器SentencePiece对句对进行分词和编码处理,得到获得BART默认的中文文本词嵌入e1,e2,e3......en;

(2)利用自然语言处理工具HanLP生成词性标签,并生成词性标签嵌入p1,p2,p3......pn;将子词嵌入ei和词性标签嵌入pi线性结合,以生成最终的词嵌入表示hi;假设使用可训练的融合权重参数α和(1-α)控制两种词嵌入的权重,则融合了词性标签的嵌入表示为:H=α·E+(1-α)·P

这里,α是一个超参数,通常在[0,1]范围内调整,以平衡字词嵌入和词性标签嵌入的权重;

(3)利用自然语言处理工具HanLP生成句法依存关系矩阵A,表示每个词之间的依存关系,其中Aij=1表示词i和词j存在句法依存关系,Aij=0表示词i和词j没有直接依存关系;然后使用图卷积网络(Graph ConvolutionalNetwork,GCN)在依存关系图上进行卷积操作;融合词性标签的初步表示H作为输入,通过GCN得到句法增强的嵌入表示Hdep;在第l层GCN中,每个词的表示更新公式为:H(l+1)=σ(AH(l)W(l))

其中H(l)是第l层的输入表示(初始层H(0)=H),W(l)是第l层的权重矩阵,σ是ReLU激活函数;经过L层GCN后得到的表示为Hdep=H(L);将词嵌入和词性标签融合后的表示H和包含依存关系的表示Hdep进一步融合,假设融合权重为β,则最终的编码器输入表示为:Hfinal=β·H+(1-β)·Hdep。

4.根据权利要求1所述的结合句法信息和预训练语言模型Chinese BART的中文文本语法纠错方法,其特征在于所述步骤三中,编码器编码包含以下步骤:(1)编码器的自注意力处理;在得到句法增强的编码器输入表示Hfinal后,BART编码器将该表示输入自注意力层,以捕获句子整体的上下文信息;首先每个词的表示可以通过可训练的权重矩阵生成查询向量Q=HfinalWQ、键向量K=HfinalWK和值向量V=HfinalWV,然后计算每个词与其他词的注意力权重,并应用到值向量上,得到上下文增强的表示:其中dk是键向量的维度,用于缩放注意力得分;

(2)前馈神经网络层和编码器输出;经过注意力计算后,将残差连接应用于自注意力结果和原始输入Hfinal,以确保输入信息得到保留:Hatt=Attention(Q,K,V)+Hfinal

编码器的自注意力输出Hatt会传递给前馈神经网络层(FeedForwardNetwork,FFN),并再次使用残差连接,进一步保留自注意力机制后的信息:Z=FFN(Hatt)+Hatt

其中FFN是一个两层的前馈神经网络;最终,编码器的输出表示Z将综合词汇、词性、依存关系和上下文信息,用于解码器生成纠错后的句子。

5.根据权利要求1所述的结合句法信息和预训练语言模型Chinese BART的中文文本语法纠错方法,其特征在于所述步骤四中,解码器解码包含以下步骤:(1)解码器的自注意力处理;假设我们当前正在生成第t个词,解码器的输入序列(当前生成的词的嵌入序列)用Y

在解码器第l层,应用掩码自注意力层,它会为当前生成的词位置生成注意力分数;对于第t个词的生成,自注意力机制的查询、键和值矩阵分别为和注意力得分计算为:其中,掩码矩阵M确保第t个位置只能“看到”第t-1个位置之前的词;这个掩码会屏蔽掉未来词的位置权重,使得生成过程有顺序依赖;输出结果将通过残差连接和统一化进行处理,得到新的表示:(2)解码器的交互注意力处理;在自注意力层之后,解码器通过交互注意力(Cross-Attention)来获取编码器的上下文信息;交互注意力机制能够帮助解码器从编码器的输出中获取关于整个句子的全局上下文信息;交互注意力层的查询矩阵来自掩码自注意力的输出,查询、键和值矩阵分别为和交互注意力计算公式为:在交互注意力计算完成后,可以将残差连接应用于交互注意力的输出与自注意力层的输出:为了进一步结合句法信息,引入依存关系词嵌入Hdep,将其与交互注意力结果线性融合;假设融合的比例因子为γ,则有:(3)前馈神经网络层和解码器输出;在句法信息结合完成后,输出会经过一个前馈神经网络层,进一步处理为高阶特征表示:然后再通过残差连接和层归一化,得到解码器第l+1层的最终表示:

解码器的最终层表示经过所有层的掩码自注意力、交互注意力和前馈网络后,得到Y=Y(L);然后将其传入输出层,生成每个时间步的概率分布,从而预测当前时间步t的词:P(yt|y

其中,Yt是解码器生成的隐层表示,Wout是一个映射矩阵,将Yt映射到词汇表空间,bout是偏置项;解码器通过逐步生成每个时间步的词,直到达到终止条件或最大长度。

6.根据权利要求1所述的结合句法信息和预训练语言模型Chinese BART的中文文本语法纠错方法,其特征在于所述步骤五中,句法信息的Beam Search调优包含以下步骤:从初始词开始生成候选序列,每一步生成多个候选词yt,根据综合得分函数Score(y1,y2,...,yt)选择B个最优候选路径,该函数不仅依赖语言模型的生成概率,还加入了一个基于句法规则的打分函数Ssyntax来评估每个候选序列的语法正确性;

Ssyntax(y1,y2,...,yt)=f(p,Hdep)

Score(y1,y2,...,yt)=λ·P(y1,y2,...,yt)+(1-λ)·Ssyntax(y1,y2,...,yt)其中,λ是超参数,用于平衡生成概率和句法得分之间的影响;

然后,对选中的B个候选路径进行扩展,直到生成完成或达到最大长度,生成结束后,输出得分最高的候选作为最终结果。