1.一种老挝语文本主题分类方法,其特征在于:所述方法具体步骤如下:Step1、利用网络爬虫技术对老挝文本进行爬取,分别收集了五个类别的文本:旅游、经济、政治、教育、其他,创建以类别命名的五个文件夹来存放每个类别的文本,然后对这些老挝文本进行文本预处理,去除一些无关分类的干扰词,以此构建语料库;
Step2、利用python技术对语料库进行遍历,遍历上面创建的五个件夹,将文件夹名为标注,里面的文本为待训练数据,将标注与待训练数据分别存放到两个列表中,命名为class_list与data_list,处理完毕后将这两个列表转换为元组的形式{class_list,data_list};
Step3、采用sklearn模块里选择了N‑gram模式下CountVectorizer方法中的fitting函数,将data_list中的文本生成词袋模型CountVectorizerModel,通过词袋模型CountVectorizerModel将data_list中的文本转换为文本向量的形式,向量的形式为(a,b,c),将class_list和处理后的data_list创建新的元组对其进行存放;其中a表示选取的特征词数,b为每个特征词对应的索引,c为b对应索引位置上每个特征词出现的次数;
Step4、采用Sklearn提供的train_test_split函数,将Step3的元组划分训练集和测试集,将训练集输入到朴素贝叶斯模型中进行训练;将测试集采用sklearn提供的朴素贝叶斯模型中的score函数计算预测的准确度,通过该准确度的结果调整步骤Step3中采用fittting函数时选出的高频词的个数,以此获得训练好的老挝语文章主题识别模型的分类器;
所述干扰词包括表情符、数字、空格、停用词;其中表情符、数字、空格采用正则表达式去除,停用词采用停用词表去除;
所述朴素贝叶斯模型采用sklearn提供的MultinomialNB算法来实现:Y代表了类别、Ck代表第K个类别、xjl代表了j这个词出现的次数是l次、Xj代表了这个词,mk代表了K类别中总的词数量、n代表了K类别中所有不重复的词的个数,λ取为1,即拉普拉斯平滑。
2.根据权利要求1所述的老挝语文本主题分类方法,其特征在于:所述N‑gram模式采用unigram与bigram相结合的方式。