欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202011019127X
申请人: 大众问问(北京)信息科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种模型训练方法,其特征在于,包括:

获取标准语料样本数据;其中,所述标准语料样本数据为新闻广播语料和教科书语料构成的样本数据;

对所述标准语料样本数据进行分词处理,得到分词样本数据;

对所述分词样本数据进行词性标注处理,得到词性标注结果样本数据;

根据所述词性标注结果样本数据确定各分词样本的前后顺序关系和修饰关系;其中,所述前后顺序关系为在同一语料中的分词样本之间的前后位置关系;

根据所述各分词样本的前后顺序关系和修饰关系确定各所述分词样本之间的依存关系,得到语料样本数据;其中,所述语料样本数据中各语料样本包括的分词样本之间存在正确的依存关系;每两个存在依存关系的两个分词样本构成一个依存对;

根据各所述分词样本之间的依存关系建立依存关系数据库;

将所述分词样本数据输入至预设机器学习模型中进行分词训练;

将所述词性标注结果样本数据输入至所述预设机器学习模型中进行词性标注训练;

将所述语料样本数据输入至所述预设机器学习模型中进行依存关系分析训练,得到依存关系分析模型;其中,所述依存关系分析训练的方法为保留交叉验证方法;

所述依存关系分析模型用于对异常语料进行异常筛选处理;其中,所述异常筛选处理包括筛选出无实际意义的异常语料。

2.一种语料处理方法,其特征在于,包括:

获取待处理语料,并将所述待处理语料输入至依存关系分析模型;

通过所述依存关系分析模型对所述待处理语料进行分词处理,得到语料分词;

对所述语料分词进行词性标注处理,得到语料词性标注结果;

根据所述语料词性标注结果确定各所述语料分词的前后顺序关系和修饰关系;其中,所述前后顺序关系为在同一语料中的分词样本之间的前后位置关系;

将各所述语料分词的前后顺序关系和修饰关系与依存关系数据库中存储的依存关系进行匹配;

如果确定匹配成功,则将所述待处理语料标记为正常语料;

否则,将所述待处理语料标记为异常语料;其中,所述异常语料包括无实际意义的异常语料;

其中,所述依存关系分析模型为通过权利要求1所述的模型训练方法训练得到的模型。

3.一种模型训练装置,其特征在于,包括:

语料样本数据获取模块,包括:样本数据获取单元、样本数据分词处理单元、分词样本数据词性标注单元和分词样本依存关系确定单元;

所述样本数据获取单元,用于获取标准语料样本数据;其中,所述标准语料样本数据为新闻广播语料和教科书语料构成的样本数据;

所述样本数据分词处理单元,用于对所述标准语料样本数据进行分词处理,得到分词样本数据;

所述分词样本数据词性标注单元,用于对所述分词样本数据进行词性标注处理,得到词性标注结果样本数据;

所述分词样本依存关系确定单元,用于:

根据所述词性标注结果样本数据确定各分词样本的前后顺序关系和修饰关系;其中,所述前后顺序关系为在同一语料中的分词样本之间的前后位置关系;

根据所述各分词样本的前后顺序关系和修饰关系确定各所述分词样本之间的依存关系,得到语料样本数据;其中,所述语料样本数据中各语料样本包括的分词样本之间存在正确的依存关系;每两个存在依存关系的两个分词样本构成一个依存对;

依存关系数据库建立模块,用于根据各所述分词样本之间的依存关系建立依存关系数据库;

依存关系分析训练模块,用于:

将所述分词样本数据输入至预设机器学习模型中进行分词训练;

将所述词性标注结果样本数据输入至所述预设机器学习模型中进行词性标注训练;

将所述语料样本数据输入至所述预设机器学习模型中进行依存关系分析训练,得到依存关系分析模型;其中,所述依存关系分析训练的方法为保留交叉验证方法;

所述依存关系分析模型用于对异常语料进行异常筛选处理;其中,所述异常筛选处理包括筛选出无实际意义的异常语料。

4.一种语料处理装置,其特征在于,包括:

待处理语料获取模块,用于获取待处理语料,并将所述待处理语料输入至依存关系分析模型;

依存关系分析模块,包括:语料分词处理单元、词性标注处理单元和依存关系确定单元;

所述语料分词处理单元,用于通过所述依存关系分析模型对所述待处理语料进行分词处理,得到语料分词;

所述词性标注处理单元,用于对所述语料分词进行词性标注处理,得到语料词性标注结果;

所述依存关系确定单元,用于将各所述语料分词的前后顺序关系和修饰关系与依存关系数据库中存储的依存关系进行匹配;如果确定匹配成功,则将所述待处理语料标记为正常语料;否则,将所述待处理语料标记为异常语料;其中,所述前后顺序关系为在同一语料中的分词样本之间的前后位置关系;

异常语料确定模块,用于根据所述各所述语料分词的前后顺序关系和修饰关系从所述待处理语料中确定异常语料;其中,所述异常语料包括无实际意义的异常语料;

其中,所述依存关系分析模型为通过权利要求1所述的模型训练方法训练得到的模型。

5.一种计算机设备,其特征在于,所述计算机设备包括:一个或多个处理器;

存储装置,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1所述的模型训练方法,或者,实现如权利要求2所述的语料处理方法。