欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018105549263
申请人: 南通大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于词性结合和特征选择的情感分类方法,对文本进行情感进行积极与消极的二元分类,其特征在于包括如下步骤:

步骤1)初始化词语‑词性Word2vec模型;

步骤2)对文本进行预处理操作,并基于情感词典从预处理过后的文本数据中选择具有情感信息的特征词;

步骤3)将文本的每个特征词和词性相结合,将文本转化为“词语词性对”序列文本;

步骤4)通过所述词语‑词性Word2vec模型得到“词语词性对”序列文本的每个特征词的向量,并对每一条文本按维度将词语的向量相加后取平均值来表示文本,得到文本的特征向量;

步骤5)将所述特征向量作为SVM分类器的输入得到情感分类模型;

所述情感词典由基础情感词典、扩展情感词典和多元搭配情感词典组成;

扩展情感词典通过如下步骤进行扩建:

步骤a)将采集到的大规模微博语料库称为扩展语料库,并对其进行清洗、分词和去停用词的预处理操作,通过Word2vec工具对预处理后的扩展语料库进行训练生成词向量模型w2v_extend并保存模型;

步骤b)计算语料库中每个词的词频‑逆文件频率TF‑IDF值,并按照TF‑IDF值对词按从大到小排序,得到词集W={(w1,tfidf1),(w2,tfidf2),...,(wm,tfidfm)};

步骤c)生成基准情感词,基准情感词分为褒义种子情感词和贬义种子情感词,从词集W选取属于中文情绪词汇本体库的词语,并选取褒义种子情感词、贬义种子情感词各k个词,构成褒义种子词集Wp={wp1,wp2,...,wpk}和贬义种子词集Wn={Wn1,Wn2,...,Wnk};

步骤d)生成候选情感词集,从词集W去掉种子词集,并比较剩下的每个词wi的tfidfi值,选择 的词语构成候选词集CW={cw1,cw2,…,cwn};

步骤e)使用所述w2v_extend模型计算目标词和种子词之间的相似度,通过所述相似度判断目标词的情感极性;

步骤f)输出扩展情感词典;

多元搭配情感词典的构建为:首先利用Python Jieba分词工具对数据集进行分词,再根据设定的规则,将被分开的词能够重新组成一个新的短语,若所述新的短语与原文本的内容相匹配,则将所述新的短语加入所述多元搭配情感词典;

所述步骤1)具体为:首先将多元搭配情感词典导入到Pyton Jieba分词工具的用户自定义词典后对训练词向量的大规模语料进行优化分词操作;再将分词后的文本的每个词语和词性相融合构成“词语词性对”序列文本,表示方式为(词语,词性)的形式;最后通过Word2vec工具训练所述“词语词性对”序列文本得到词语‑词性Word2vec模型;

所述步骤e)中w2v_extend模型通过式(1)、式(2)以及式(3)计算目标词与褒义和贬义种子情感的种子集之间的距离,并通过所述距离表示目标词与褒义和贬义种子情感的种子集之间的相似度,

f(W,word)=fp(Wp,word)‑fn(Wn,word)    (3)其中,fp(Wp,word)是指目标词word与褒义种子情感词集合Wp={Wp1,Wp2,...,Wpk}之间的平均余弦距离,Wpi是褒义种子情感词集合中的第i个词,fn(Wn,word)是指目标词与贬义种子情感词集合Wn={Wn1,Wn2,...,Wnk}之间的平均余弦距离,Wni是贬义种子情感词集合中的第i个词;若f(W,word)>0时,则目标词属于积极情感词;若f(W,word)>0时,则词语属于消极情感词。

2.根据权利要求1所述的基于词性结合和特征选择的情感分类方法,其特征在于步骤

2)中预处理操作是指对文本数据进行清洗操作、分词操作以及去停用词操作。

3.根据权利要求2所述的基于词性结合和特征选择的情感分类方法,其特征在于步骤

2)特征词的选择是指通过上文构造的情感词典从预处理过后的文本数据中筛选出有情感信息的特征词构成新的文本以待获取文本的特征向量。

4.根据权利要求1或2所述的基于词性结合和特征选择的情感分类方法,其特征在于所有的数据清洗与分词操作通过Hadoop并行计算框架下的Spark进行并行处理。

5.根据权利要求1所述的基于词性结合和特征选择的情感分类方法,其特征在于设定的规则为词语的词性设置标签,所述标签分别表示程度副词、否定词以及特征词;并设置组合规则使得被分开的词组成一个新的短语,所述组合规则为程度副词修饰特征词,使得特征词的情感强度加强或减弱;否定词修饰特征词,使得特征词的情感极性发生转变;否定词与程度副词同时修饰特征词使得特征词的情感强度加强或减弱或特征词的情感极性发生改变。