1.一种基于词的关联特征的中文分词方法,其特征在于:
a、从文本库中选出需要处理的文本,并对文本库进行预处理,包括去符号并使其形成语句,利用去符号后的语句构建语料库;
b、采用前后拼接词的分词方法,对步骤1中的语料库进行分词,形成分词碎片;
c、采用二元切分前后词拼接方法、三元切分前后词拼接方法、四元切分前后词拼接方法,形成二元候选词库、三元候选词库和四元候选词库;
d、对二元候选词库、三元候选词库和四元候选词库中的二元候选词,三元候选词,四元候选词进行词频统计;
e、对统计好词频的候选词设定一个词频门限,并对其进行判决,满足此门限的候选词保留,形成新的语料库,若不满足此门限的候选词则删除;
f、计算出步骤5处理后的语料库中的候选词的自由度和凝合度,并给定所有候选词一个统一的自由度和凝合度的门限,并进行判决,满足判决的候选词保留,若不满足此判决的候选词则删除;
g、采用分词过滤方法,在对筛选出来的三元候选词和四元候选词进行进一步的过滤,形成新的词库。
2.根据权利要求1所述的基于词的关联特征的中文分词方法,其特征在于:所述前后拼接词方法是指对一句中文从第一个字开始进行连续的切割分词,将其所有成词词语切割出来,具体为:对于一个中文文本所包含的文本内容假设为:
{ai,ai+1,ai+2,ai+3,ai+4,ai+5.......ai-1+n,ai+n},其中,ai表示为文本中的一个字符,n∈N;
采用二元切分前后词拼接方法对文本集合进行二元切分拼接处理,得到处理结果二元文本片段集合,为:{(aiai+1),(ai+1ai+2),(ai+2ai+3),(ai+3ai+4),ai+5.......(ai-1+nai+n)};
采用三元切分前后词拼接方法对文本集合进行三元切分拼接处理,得到处理结果三元文本片段集合,为:{(aiai+1),(ai+1ai+2),(ai+2ai+3),(ai+3ai+4),ai+5.......(ai-1+nai+n)};
采用四元切分前后词拼接方法对文本集合进行四元切分拼接处理,得到处理结果四元文本片段集合,为:{(aiai+1ai+2ai+3),(ai+1ai+2ai+3ai+4),(ai+2ai+3ai+4ai+5).......(ai-3+nai-2+nai-1+nai+n)}。
3.根据权利要求1所述的基于词的关联特征的中文分词方法,其特征在于:所述自由度是指:当一个文本片段出现在各种不同的文本集中,且具有左邻字集合和右邻字集合,左邻字集合是指出现在文本片段左边相邻的字符的集合,右邻字集合是指出现在文本片段右边相邻的字符的集合,通过计算左邻字集合和右邻字集合的信息熵获取一个文本片段的信息熵,取左邻字集合和右邻字集合中较小信息熵作为自由度。
4.根据权利要求3所述的基于词的关联特征的中文分词方法,其特征在于:所述自由度为得到的文本片段集合中,当一个文本片段能够出现在各种不同的文本集中,且具有左邻字集合和右邻字集合,通过计算左邻字集合和右邻字集合的信息熵获取一个文本片段的信息熵H,即,H=min{s',s”}, H表示候选词的自由度,S'表示候选词的右熵,s”为候选词的左熵,取左邻字集合和右邻字集合中较小信息熵作为自由度。
5.根据权利要求1所述的基于词的关联特征的中文分词方法,其特征在于:所述凝合度是指在一个文本中,一个新词单独出现的概率高于其组合词的概率的乘积,即P(AB)>P(A)P(B),令 取最小的M为凝合度,其中AB表示一个新词,P(AB)表示新词在文本中出现的概率,A和B分别指代一个组合词,P(A)和P(B)分别代表组合词在文本中出现的概率。
6.根据权利要求1所述的基于词的关联特征的中文分词方法,其特征在于:所述统计候选词的凝合度是通过计算语料中候选词的独立概率和联合概率的比值得到,具体步骤为:(1)由候选词的概率和候选词的组合概率的比值得到两元候选词凝合度M2:
其中,M2表示候选词的凝合度,si表示两元候选词的第一个字在语料库中出现的概率,Ni表示两元候选词第一个字在语料中出现的次数,Ni+1表示两元候选词第二个字在语料中出现的次数,Ni,i+1表示两元候选词在语料库中出现的次数,表示语料中总字数,si+1表示两元候选词第二个字在语料库中出现的概率,p(i,i+1)表示两元候选词语在语料中出现的概率;
(2)由候选词的概率和候选词的组合概率的比值得到三元候选词凝合度M3:
其中,M3表示候选词的凝合度,Si表示三元候选词的第一个字在语料库中出现的概率,si+1,i+2表示三元候选词的后两个字同时在语料库中出现的概率,si,i+1表示三元候选词的前两个字同时在语料库中出现的概率,si+2表示三元候选词的最后一个字在语料库中出现的概率,Ni表示三元候选词的第一个字在语料库中出现的次数,Ni+2表示三元候选词的第三个字在语料库中出现的次数,Ni+1,i+2表示三元候选词的后两个字在语料库中出现的次数,Ni,i+1表示三元候选词的前两个字在语料库中出现的次数,Ni,i+1,i+2表示三元候选词在语料库中出现的次数,P(i,i+1,i+2)表示三元候选词语在语料中出现的概率;
(3)由候选词的概率和候选词的组合概率的比值得到四元候选词凝合度M4:
其中,M4表示候选词的凝合度,Si表示四元候选词的第一个字在语料库中出现的概率,Si+1,i+2,i+3表示四元候选词的后三个字同时在语料库中出现的概率,Si,i+1,i+2表示四元候选词的前三个字同时在语料库中出现的概率,Si,i+1,表示四元候选词的前两个字在语料库中出现的概率,Si+2,i+3表示四元候选词的后两个字在语料库中出现的概率,Ni表示四元候选词的第一个字在语料库中出现的次数,Ni+3表示四元候选词的第四个字在语料库中出现的次数,Ni,i+1表示四元候选词的前两个字在语料库中出现的次数,Ni+2,i+3表示四元候选词的后两个字在语料库中出现的次数,Ni+1,i+2,i+3,表示四元候选词的后三个字在语料库中出现的次数,Ni+1,i+2,i+3,表示四元候选词的前三个字在语料库中出现的次数,P(i,i+1,i+2,i+3)表示四元候选词在语料库中出现的概率。
7.根据权利要求1所述的基于词的关联特征的中文分词方法,其特征在于:所述三元候选词的过滤方法是:对于三元候选词,若后两个字符是存在于二元候选词库中,判断第一个字是否与左邻接字构成一个词,若前两个字符是存在于二元候选词库中,判断最后一个字是否与右邻接字构成一个词,确定三元候选词是否候选词;
若
则(Ai-1AiAi+1)属于三元词;
其中,(Ai-1AiAi+1)属于三元候选词,Ai-2是三元候选词的左邻字集,Ai+2是三元候选词的右邻接字,{A0....Ai....AN.},是语料库中字符集和,{(A0,A1)...(Ai,Ai+1)...(Ai-2,Ai-1)},是二元候选词集合。
8.根据权利要求1所述的基于词的关联特征的中文分词方法,其特征在于:所述四元候选词的过滤方法是:对可能成词的四元候选词,首先,进行分割,前两个字为一个分词片段,后两个字为另一个分词片段,并分别对分词片段与已分好的二元词库进行匹配,匹配中的则作为预选词,然后,在对四元词的中间两个字进行分割,并与已分好的二元词库进行匹配,匹配不中的则作为预选词,如果两个条件都满足,则作为分词的结果:且
其中,{Ai-2,(Ai-1AiAi+1)Ai+2}.表示四元候选词,{(Ai-2,Ai-1),(Ai,Ai+1)}表示由四元候选词分出来的前后两各词,{(A0A1)...(AiAi+1)...(ANAN+1)}表示二元词库,{(Ai-1,Ai)}表示四元候选词中间词。