1.融合领域知识图谱的跨境民族文本聚类方法,其特征在于:所述方法的具体步骤如下:
Step1、跨境民族文化文本数据预处理:收集跨级民族文化领域词汇,构成跨境民族文化领域词典;通过过滤、筛选、去停用词、去特殊符号操作后获得傣族、泰族、彝族、倮倮族四个跨境民族文本数据,选取句子若干条文本数据作为跨境民族文本聚类数据集;利用文档、实体以及主题构成跨境民族文化文档关联图;
Step2、跨境民族文本数据特征提取:采用异构图卷积神经网络对构建好的跨境民族文化文档关联图进行特征提取,将此特征作为全局特征;采用长短期记忆网络对跨境民族文化文本进行特征提取,将此特征作为文本特征;采用知识表示模型对跨境民族文化领域知识图谱进行表示,将此特征表示与文本特征通过门控机制进行融合,融合后的文本特征作为局部特征;全局特征体现了在整个文本集合中,文本之间的潜在关联关系;局部特征将领域知识图谱中的三元组知识与单个文本融合,体现了单个文本与文本之间的潜在关联关系,两者均能有效提升跨进民族文本聚类的效果;
Step3、融合领域知识图谱的跨境民族文本聚类:将得到的跨境民族文本数据全局特征和局部特征拼接,再将其通过变分自编码器进一步提取特征;再送入Kmeans聚类模型中,得到最后聚类结果。
2.根据权利要求1所述的融合领域知识图谱的跨境民族文本聚类方法,其特征在于:所述Step1的具体步骤为:
Step1.1、通过爬虫技术从民族文化网站获取跨境民族文化文本数据,从中标注出跨境民族文化领域词汇,经过去重过滤后得到跨境民族文化领域词汇,构成跨进民族文化领域词典;其中,词语最长长度为5个字符,最短长度为1个字符;
Step1.2、对Step1.1得到的文本数据,经过筛选、过滤、去重、去特殊字符操作后获得傣族、泰族、彝族、倮倮族文本数据;其中,包含15个类别,分别为倮倮族原始宗教、倮倮族葬俗、倮倮族服饰、傣族南传上部座佛教、傣族婚俗、傣族孔雀舞、傣族建筑、傣族泼水节、傣族服饰、傣族葬俗、彝族原始宗教、彝族节日、泰族原始宗教以及泰族节日;每条文本数据只属于一个文化类别,文本最长长度为456个字符,平均包含146个字符;
Step1.3、通过LDA主题模型挖掘跨境民族文本数据潜在的主题信息,每个跨境民族文本数据被分配给了概率最大的p个相关性主题,即将该p个主题与跨境民族文化文本数据之间构建一条边,其权重为对应的主题概率;借助跨境民族文化领域词典识别出跨境民族文化文本中的跨境民族文化实体,将识别出的实体词汇与跨境民族文化文本数据构建一条边,其权重为该实体词汇的TF-IDF值;将得到的主题节点、边主题-文档、实体节点、边实体-文档与文档节点统一整合,得到跨境民族文化文档关联图。
3.根据权利要求1所述的融合领域知识图谱的跨境民族文本聚类方法,其特征在于:所述Step2的具体步骤为:
Step2.1、提取跨境民族文化文本数据的全局特征信息:对于跨境民族文化文档关联图g=(v,ε),其中v和ε分别表示节点和权重的集合,X∈R|v|×M表示节点中的特征xv∈R|v|×M的矩阵,M指单个节点的向量的维度大小,每一行xv都是节点的特征矩阵;异构卷积层通过聚合不同类型τ的邻居结点的特征来更新结点h(l+1)在第(l+1)层的表示,最初,H(0)=X;
其中,T表示不同类型τ的集合,σ表示激活函数,Bτ指注意力矩阵,表示在第l层的节点特征矩阵,表示节点对应的变换矩阵;
Step2.2、跨境民族文化文本数据通过采用LSTM进行表示sd∈RM;sd表示跨境民族文化文本数据词向量,RM表示词向量是长度为M的实数集合;
首先,采用jieba结合领域词典对文本句子进行分词,从而更好的区分跨境民族文化文本句子中的领域名词;然后使用Word2Vec模型对现有的跨境民族文化数据训练得到词向量,并利用跨境民族词向量获得标题中每个词wi,i∈[1,N]的嵌入表征xi∈R100;其中N代表标题中词的个数,100表示词向量维度;最后通过LSTM模型获得句子的词级表征;
Step2.3、跨境民族文化知识图谱语义表征:采用TransE模型对跨境民族文化知识图谱中实体se∈RM进行表示,得到实体语义信息;
给定一个跨境民族文化知识图谱中的三元组关系(头实体h,关系r,尾实体t),TransE模型通过不断调整h,r和t使其满足h+r=t;
Step2.4、采用门控机制将Step2.2中捕获的句子的词级特征和Step2.3中捕获的实体语义信息进行融合,获得增强实体语义信息的跨境民族文化文本局部特征表示,具体的融合方式如下公式所示:s=gs⊙sd+(1-gs)⊙se
其中,是一个训练参数,gs∈RM是一个门控向量,用来平衡跨境民族文化实体语义信息和跨境民族文化文本表征信息。
4.根据权利要求1所述的融合领域知识图谱的跨境民族文本聚类方法,其特征在于:所述Step3的具体步骤为:
Step3.1、将得到的全局特征信息和跨境民族文化文本局部特征进行拼接得到融合后的文本特征hmix,将其输入变分自编码器VAE,得到跨境民族文化文本的潜在分布信息Z;VAE模型假设输入数据的后验概率在考虑到底层性能的情况下基本满足高斯分布;假设Z,Z表示推断网络的输出,即跨境民族文本的潜在分布信息满足高斯先验,在生成阶段,通过采样z~q(z|hmix)对样本进行重构,VAE设定误差公式为:其中,z表示可能的VAE的输出,q(z|hmix)为融合后的文本特征的后验概率,p(z)输出为z的概率,p(hmix|z)表示输出为z且输入为hmix的条件概率;
Step3.2、将Step3.1得到的跨境民族文本的潜在分布信息,作为跨境民族文化文本的最终表示,采用KMeans聚类方法得到跨境民族文化文本的聚类结果;为了更好地实现跨境民族文化文本的聚类效果,使训练样本更接近相应的聚类中心,在表达潜在学习的过程中加入聚类信号,使得同一个聚类中的距离更小,不同簇之间的更大,在此基础上,聚类损失如下:其中,Q表示目标分布,P表示辅助分布,qij表示跨境民族文化文本si分配给第j个簇的概率,pij表示由qij得到的辅助分布。
5.融合领域知识图谱的跨境民族文本聚类方法装置,其特征在于,包括用于执行如权利要求1-4任一项权利要求所述方法的模块。