欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018115776672
申请人: 昆明理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种从老挝-汉语篇章级对齐语料中抽取对齐语句的方法,其特征在于:包括如下步骤:

Step1,将汉-老双语语料先通过python代码使用正则表达式来进行噪声处理,然后对这些对齐片段进行数据集划分,其中,已对齐的训练集占90%,乱序测试集占10%;

Step2,根据训练集以及测试集的句子,统计其中的互异的词组,以及每个词组出现的次数,经过word-embedding计算句子的词向量;

Step3,将Step2得出词向量作为LSTM算法的输入,即此时LSTM算法作为encoder部分,并将这些词向量作为encoder端的输入,encoder部分通过LSTM算法的初始化向量进行相似度计算;

Step4,每个词向量经由encoder部分输出,经过softmax函数,求出各个句子词向量的语义编码C,组成一个向量序列;

Step5,将Step4中得到的向量序列,作为decoder部分的初始输入,在decoder部分加入了Attention机制,解码的时候,每一步都会选择性地从语义编码C的向量序列中挑选一个子集进行进一步的处理;所以在decoder部分中,每个时刻的输出作为下一时刻的输入,每一个输出,都能够做到充分利用输入序列携带的信息,以此类推,直到结尾;

Step6,经过encoder与decoder部分的相似度的计算,得出相似度最高的句子词向量,通过词向量来组成的句子,从而完成从对齐的篇章级语料中抽取出汉-老双语对齐的语句。

2.根据权利要求1所述的从老挝-汉语篇章级对齐语料中抽取对齐语句的方法,其特征在于:所述Stepl中所述的对齐片段为经过噪声处理过后的对齐篇章语料。

3.根据权利要求1所述的从老挝-汉语篇章级对齐语料中抽取对齐语句的方法,其特征在于:所述Step2通过python编码,对最初的篇章级对齐语料进行句子分词,通过代码实现单个句子老挝语句子以及中文句子的分词,并统计词数。

4.根据权利要求1所述的从老挝-汉语篇章级对齐语料中抽取对齐语句的方法,其特征在于:所述Step3的具体步骤如下:输入分出来的句子,将句子进行分词,经过word-embedding之后作为输入,输入到LSTM中,然后经过隐藏层得出隐藏层信息h1,h2,...,在这个时候encoder部分的第一个时刻的hidden-state假设为Z0(初始变量),然后使用Z0和h1,h2,...进行相似度计算,得出各个时刻的a10,a20,a30,…aij,其中,a的下标i表示encoder中隐藏层信息的下标,a的下标j表示神经网络的初始变量的下标。

5.根据权利要求4所述的从老挝-汉语篇章级对齐语料中抽取对齐语句的方法,其特征在于:所述步骤Step5在decoder阶段每一步解码,都能够有一个输入,对输入序列所有隐藏层的信息h1,h2,…ht进行加权求和,也就是每次在预测下一个词时都会把所有输入序列的隐藏层信息都看一遍,决定预测当前词时和输入序列的那些词最相关,Attention机制代表了在解码decoder阶段,每次都会输入一个上下文的向量Ci,隐藏层的新状态Si根据上一步的状态Si-1,Yi,Ci三者的一个非线性函数得出,如公式(1),其中Ci为encoder阶段的每时刻输出状态的加权平均和,求解方式为公式(2),Si-1,Yi分别为decoder阶段的前一状态和前一次输出的预测值,这里hj为encoder阶段的每个时刻输出状态,aij为每个decoder阶段的输入i对应的hj的权重值大小;

Si=F(Si-1,Yi,Ci)   (1)

。

6.根据权利要求1所述的从老挝-汉语篇章级对齐语料中抽取对齐语句的方法,其特征在于:所述步骤Step6在经过相似度计算之后,通过词向量来组成的句子,从而完成从对齐的篇章级语料中抽取出汉-老双语对齐的语句。