1.基于知识表示的跨境民族文化文本分类方法,其特征在于:所述基于知识表示的跨境民族文化文本分类方法的具体步骤如下:Step1、获取若干本土及其跨境民族文化文本数据;
Step2、本土及其跨境民族文化知识图谱的构建,再利用远程监督的思想来进行数据标注;
Step3、基于知识表示的本土及其跨境民族文化文本分类神经网络模型训练;
获取本土及其跨境民族文化文本标注好的数据中每个词语的词向量表示;
获取实体向量与带有标签信息的关系向量;
把词向量表示与实体向量融合再输入到BiGRU神经网络中进行文本语义特征提取;
利用带有标签信息的关系向量对文本语义特征进行最大池化注意力加权,再计算每个文本属于各个类别的概率;
基于概率值及交叉熵损失函数计算损失值,通过损失值调节网络参数,以此来训练出效果最优的分类模型;
Step4、利用训练好的基于知识表示的跨境民族文化文本分类神经网络模型对本土及其跨境民族文化文本数据进行文本分类;
所述Step3的具体步骤为:
Step3.1、首先使用BERT预训练模型对标注好的数据进行向量化表示,获得本土及其跨境民族文化文本标注好的数据中每个词语的词向量表示;
Step3.2、然后利用TransE知识表示模型对本土及其跨境民族文化知识图谱三元组中的实体、关系和三元组标签进行向量化表示,获得实体向量与带有标签信息的关系向量;
Step3.3、把通过BERT预训练模型得到的本土及其跨境民族文化文本标注好的数据中每个词语的词向量表示与TransE知识表示模型表示的实体向量进行融合,得到融合后的向量;
Step3.4、利用BiGRU神经网络对文本的语义特征进行提取:通过Step3.3得到融合后的词向量,把融合后的词向量输入到BiGRU神经网络中进行编码来学习得到文本的语义特征;
Step3.5、使用TransE知识表示模型输出的带有标签信息的关系向量对提取到的文本语义特征进行最大池化注意力加权,得到文本的句子级向量;然后利用文本的句子级向量计算每个句子属于各个类别的概率值;
Step3.6、利用交叉熵损失函数来计算概率值与真实类别标签之间的损失值,通过得到的损失值来调节网络参数,以此来训练出效果最优的分类模型。
2.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:所述Step1包括:利用搜索引擎编写网络爬虫从百度百科、WiKi百科、中国民族文化资源库以及中国民族文化资源网爬取跟本土及其跨境民族相关的网页文档数据,并利用MongoDB数据库对爬取网页的标题、日期、URL、图片、正文文本信息进行存储及倒排索引构建。
3.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:所述Step2的具体步骤为:
Step2.1、首先确定本土及其跨境民族文化知识图谱的分类体系,民族文化类别包括宗教文化、建筑文化、饮食文化、服饰文化、节日文化、丧葬文化、婚姻文化、乐器文化和舞蹈文化这9类,然后从已有的知识图谱和百科类网站的InfoBox中获取知识三元组,知识三元组的具体格式是[“实体”,“关系”,“实体”]或者[“实体”,“属性”,“属性值”],最终进行人工校验后把知识三元组储存在Neo4j图数据库中完成本土及其跨境民族文化知识图谱的构建;
Step2.2、通过远程监督的思想来进行数据标注:利用本土及其跨境民族文化知识图谱中的三元组与本土及其跨境民族文化文本数据进行对齐,如果三元组中的头实体和尾实体同时出现在本土及其跨境民族文化文本数据的任何一条文本中,则把这条文本作为标注好的数据。
4.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:所述Step3.1具体包括:将标注好的文本中每个词语随机初始化得到每个词语的词向量Token Embedding,标注好的文本的编号Segment Embedding和每个词的位置向量Position Embedding的元素按位相加,得到BERT预训练模型的最终输入;文本经过以上三个向量化表示之后,对这三个向量按位相加可表示为A={a[CLS],a1,a2,...,an,a[SEP]},其中a[CLS]和a[SEP]为标注好的文本的特殊标记向量,n为标注好的数据中的词语数量,每个词语都被表示为k维的向量;对于输入的向量利用多头注意力机制Multi‑Head Attention计算文本中每个词语与其它词语之间的相互关系,计算公式如下所示:O
MHA=MultiHead(Q,K,V)=Concat(head1,head2,...,headk)WQ K V
headi=Attention(QWi,KWi,VWi)Q K V Q K V
其中,Q,K,V为词向量矩阵;Q=AW ;K=AW ;V=AW ,其中,W ,W ,W随机初始化的权重矩Q K V Q K V O
阵,dk为输入词向量的维度,Wi,Wi,Wi表示第i个head的W,W,W矩阵,W为附加权重矩阵;
Multi‑Head Attention的输出结果MHA与标注好的数据所表示的向量A相加,再进行归一化处理得到值Aa=MHA+A,然后将归一化的值Aa经过一个前馈神经网络得到值AF=WfAa+bf,再与Aa相加并且进行归一化得到Transformer Encoder的输出At=Aa+AF,通过以上过程实现了本土及其跨境民族文化文本标注好的数据中每个词的词向量的动态生成,从而得到词汇在文本中的语义特征;其中,Wf表示随机初始化的权重向量,bf表示随机初始化的偏置向量。
5.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:所述Step3.2具体包括:首先需要把三元组的实体、关系和该三元组的标签分别按序进行id标记,具体形式为(实体,id)、(关系,id)和(三元组标签,id),训练数据格式为(头实体,尾实体,关系+三元组标签),其中,三者通过空格进行分隔;然后输入到TransE知识表示模型中,以此得到知识三元组的实体向量和带有标签信息的关系向量,计算公式如下所示:h+r≈t
对于每个三元组实例[head,relation,tail]中的关系relation看做从头实体head到尾实体tail的翻译,通过不断调整h、r和t,使得h+r尽可能与t相等,h、r和t分别为head、relation和tail的向量表示;
在TransE知识表示模型训练的过程中,通过设置一个损失函数 来对这些三元组进行打分,相比之下,正确的三元组打分要高于错误的三元组,损失函数设计如下:其中,h′和t′为随机构造的负例头实体和尾实体,γ为大于0的超参,+的作用是筛选,具体规则为大于0取原值,小于0则为0;通过不断地对实体和关系的向量进行调整,使其计算的损失函数最小,就能得到最终的实体向量Eid和带有标签信息的关系向量Rid。
6.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:所述Step3.3具体包括:通过Step3.2和Step3.1分别得到三元组的实体向量表示Eid和本土及其跨境民族文化文本标注好的数据中每个词语的词向量表示At,并且这两个向量的维度是一致的,通过实体在文本中的位置能进行这两种向量的对位相加得到文本融合后的词向量W={w1,w2,...,wn},计算如下所示:其中,At为经过BERT预训练模型输出的每个词的词向量,即本土及其跨境民族文化文本标注好的数据中每个词语的词向量表示At,Eembed为维度与At一致的三元组实体向量。
7.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:Step3.5具体包括:通过Step3.4得到的文本语义特征可表示为集合H={h1,...,hi,...,hn},其中,hi表示文本中第i个词语的语义特征;由Step3.2得到的带有标签信息的关系向量为Rid;则利用Rid为H最大池化加权计算公式如下:其中,maxpool为最大池化,n为文本语义特征的数量,S为文本的句子级向量;
对于输入的多个文本来说,通过最大池化注意力加权后得到文本的句子级向量集合表示为S={s1,...,si,...,st},其中si表示第i个文本的句子级向量,t表示输入的文本数量;
1 2 k
再经过一个全连接层得到输出为Y的一维向量,表示为Y=[y ,y ,...,y],其中k为类别数,Y的计算方式如下所示:
k
Y=Wi·si+b
k
其中,Wi 为第i个文本对应类别k的权重矩阵,b为随机初始化的偏置向量,表示为b=[b1,b2,...,bk];
通过计算得到Y后,把Y中的值分别通过Softmax函数进行归一化处理,得到si属于各个类别的概率值,公式如下所示:
j
p(y=j|si)=softmax(y)j
其中,公式表示第i个文本的句子级向量si属于类别j的概率值,y 表示第j类的一维向量表示。
8.根据权利要求1所述的基于知识表示的跨境民族文化文本分类方法,其特征在于:所述Step3.6包括、通过Step3.5得到文本属于各个类别的概率值,利用交叉熵损失函数来计算概率值与真实类别标签yi之间的损失值,通过得到的损失值来调节网络参数,以此来训练出效果最优的分类模型,交叉熵损失函数定义如下:其中,J(θ)表示模型的损失值,损失越小代表模型训练的效果越好;yi为第i个文本的句子级向量si的真实类别标签;T代表文本数量,p(y=j|si)表示第i个文本的句子级向量si属于类别j的概率值。