1.一种基于自然语言处理的文本自动结构化方法,其特征在于,包括:输入需要自动结构化处理的原始文本;
利用经训练的神经网络模型对原始文本进行处理,生成有编码形式的长序列文本;
通过在有编码形式的含有序号的长序列文本中查找对应编码来自动结构化文本;
查找自动结构化文本中对应的编码符号,按照前后两个编码之间的关系和编码的含义将编码符号替换为相应的序号;
其中,神经网络模型的训练过程包括:
收集样本数据;
对收集到的样本数据进行数据标注;
对经标注的数据进行数据清洗和预处理,得到无编码形式的长序列样本作为神经网络模型训练的输入;
搭建PyTorch框架;
建立神经网络模型,神经网络模型中包含指示不同层级标题序号之间的关系的编码规则;
利用无编码形式的长序列样本训练神经网络模型;
对神经网络模型进行测试与优化;
确定神经网络模型;
其中,神经网络模型是seq2seq模型,seq2seq模型结构中的编码器将所有的输入序列都编码成一个统一的语义向量,再由解码器进行解码,解码过程中不断将前一个时刻解的输出作为后一个时刻的输入,循环编码直至输出停止符为止。
2.根据权利要求1所述的基于自然语言处理的文本自动结构化方法,其特征在于,有编码形式的长序列文本中包含的序号包括正确的序号和错误的序号。
3.根据权利要求1所述的基于自然语言处理的文本自动结构化方法,其特征在于,方法还包括:通过在有编码形式的不含序号的长序列文本中查找空格来自动结构化文本;
查找自动结构化文本中的空格符号,将空格符号按文章顺序的方式将空格符号替换为递增的数字。
4.一种基于自然语言处理的文本自动结构化系统,其特征在于,包括:文本输入模块,输入需要自动结构化处理的原始文本;
模型处理模块,利用经训练的神经网络模型对原始文本进行处理,生成有编码形式的长序列文本;
编码查找模块,通过在有编码形式的含有序号的长序列文本中查找对应编码来自动结构化文本;
编码替换模块,查找自动结构化文本中对应的编码符号,按照前后两个编码之间的关系和编码的含义将编码符号替换为相应的序号;
其中,模型处理模块中包括模型训练子模块,其中模型训练子模块进一步包括:样本收集单元,收集样本数据;
数据标注单元,对收集到的样本数据进行数据标注;
数据清洗和预处理单元,对经标注的数据进行数据清洗和预处理,得到无编码形式的长序列样本作为神经网络模型训练的输入;
框架搭建单元,搭建PyTorch框架;
模型建立单元,建立神经网络模型,神经网络模型中包含指示不同层级标题序号之间的关系的编码规则;
模型训练单元,利用无编码形式的长序列样本训练神经网络模型;
模型测试与优化单元,对神经网络模型进行测试与优化;
模型确定单元,确定神经网络模型;
其中,神经网络模型是seq2seq模型,seq2seq模型结构中的编码器将所有的输入序列都编码成一个统一的语义向量,再由解码器进行解码,解码过程中不断将前一个时刻解的输出作为后一个时刻的输入,循环编码直至输出停止符为止。
5.根据权利要求4所述的基于自然语言处理的文本自动结构化系统,其特征在于,有编码形式的长序列文本中包含的序号包括正确的序号和错误的序号。
6.根据权利要求4所述的基于自然语言处理的文本自动结构化系统,其特征在于,系统还包括:空格查找模块,通过在有编码形式的不含序号的长序列文本中查找空格来自动结构化文本;
空格替换模块,查找自动结构化文本中的空格符号,将空格符号按文章顺序的方式将空格符号替换为递增的数字。
7.根据权利要求4所述的基于自然语言处理的文本自动结构化系统,其特征在于,神经网络模型是seq2seq模型,seq2seq模型结构中的编码器将所有的输入序列都编码成一个统一的语义向量,再由解码器进行解码,解码过程中不断将前一个时刻解的输出作为后一个时刻的输入,循环编码直至输出停止符为止。
8.一种基于自然语言处理的文本自动结构化系统,其特征在于,包括:处理器;以及
存储器,所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,其中,当所述一系列计算机可执行的指令被所述处理器执行时,使得所述处理器进行如权利要求1至3中任一项所述的方法。
9.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列可执行的指令被计算装置执行时,使得计算装置进行如权利要求1至3中任一项所述的方法。