1.一种基于远程监督的参数自适应农业知识图谱推荐方法,其特征在于,具体步骤如下:(1)农业知识服务系统上爬取到的数据进行数据预处理,将得到的数据集定义为Agri_data;利用Scrapy对农业互动百科进行数据爬取,将爬取的数据集定义为HuDong_data;对Agri_data和HuDong_data中的文本数据进行中文分词和词向量训练,得到的数据集定义为Train_data;
(2)利用数据集Train_data训练KNN算法模型,利用Fasttext快速文本分类工具对文本数据进行特征提取以及利用余弦相似度算法进行文本相似度比较,得到文本实体分类T;
(3)利用步骤(2)的KNN算法模型预测实体分类的结果用Predict_data数据集存储,将Predict_data数据集中的实体与维基百科实体关系数据集Result_data中的实体数据进行映射,得到数据集Filter_Wtrain_data;
(4)利用启发式规则筛选算法,构建维基百科中文词库中的实体字典,对Filter_Wtrain_data文本数据进行预处理,得到wikidataRelation数据集;
(5)分别搭建PCNN,CNN,RNN,BiRNN 神经网络模型;具体步骤如下:(5.1)搭建人工神经网络,嵌入层embedding中,定义单词映射函数为word_embedding,定义词嵌入空间向量大小为Word_embedding_dim=50,定义位置特征嵌入空间向量大小为position_embedding=5,最大长度为120,设定word_position_embedding函数,将上述word_embedding和position_embedding函数结果相加;
(5.2)定义三个损失函数为softmax_cross_entropy,sigmoid_cross_entropy,soft_label_softmax_cross_entropy,每个样本数据softmax或sigmoid层都可以得到不同的概率分布和预测关系,将最大的预测结果作为实体预测结果,用于计算损失交叉熵;
(5.3)设定参数drop_out为0.5计算张量维度上元素的最大值,分为三段最大池化,每个卷积核得到一个3维向量,将池化层得到的结果输入到归一化函数层,用tanh激活函数进行非线性处理;
(5.4)每一个实例定义为一个bag,若训练集中bag为正,正例个数大于等于1个;若为负,实例皆为负;
(5.5)在每个bag上加入attention机制;
(5.6)是否已经训练,若已经训练,执行步骤(5.14);
(5.7)是否dropout;
(5.8)定义一个实体列表,定义为bag_pre,定义基于attention的逻辑回归值为attention_logit;
(5.9)定义变量i,用来在局部作用域中遍历,定义作用域为scope;
(5.10)若i>scope.shape[0],执行步骤(5.13);
(5.11)计算softmax损失函数的attention值;
(5.12)i=i+1,执行步骤(5.10);
(5.13)得到的秩向量存储在bag_pre实体列表中,执行步骤(5.19);
(5.14)训练结束,开始测试;
(5.15)定义变量i1,用来在局部作用域中遍历;
(5.16)若i1>scope.shape[0],执行步骤(5.19);
(5.17)计算sigmoid激活函数值,得到的实体值存储在bag_logit实体列表的逻辑回归列表中;
(5.18)i1=i1+1,执行步骤(5.16);
(5.19)定义pcnn,cnn,rnn,birnn四种网络模型,定义隐含因子为hidden_size=230,定义卷积核大小为3,步长为1,运用激活函数relu函数,设定局部变量count;
(5.20)投入训练,搭建pcnn ,cnn,rnn,birnn神经网络模型;
(5.21)若count>n,执行步骤(5.28);
(5.22)将句子依次分解成单词,每个单词映射到dw维矢量,称为单词嵌入,通过模型训练来学习嵌入向量;
(5.23)使用位置特征指出标记在句子中entity1和entity2的两个实体的相对位置,每个实体都有两个相对位置,分别映射到不同的dp维向量;
(5.24)将步骤(5.23)中这两个相对位置结果连接起来,得到矩阵M∈Rh×Rs作为是输入表示,其中Rs=dw+2*dp;
(5.25)设置W=Wc*Rs是卷积矩阵,其中Wc是卷积窗口宽度,通过将卷积窗口向下滑动到句子并将此函数应用于每个有效位置,生成特征图c = [c1,c2,...,c(h‑Wc+ 1)],从句子中提取n个特征;
(5.26)用不同的W矩阵,重复上述过程;
(5.27)count=count+1,执行步骤(5.21);
(5.28)Piecewise Max‑pooling 通常用于在每个功能图中选择最大激活值;
(5.29)基于两个实体的位置将每个特征图ci分为三个分量{ci1,ci2,ci3},当逐段最大池化完成时,每个特征图的结果被连接为形式向量p∈R3n,作为该句的特征表示;
(5.30)搭建好上述步骤(5.20)的四种神经网络模型;
(6)比较四种算法模型,得到农业知识图谱领域内参数自适应寻优的关系抽取模型M;
(7)在农业领域的文本数据上抽取实体间的关系,通过Echarts渲染实体关系数据,将推荐结果展示在web端。
2.根据权利要求1所述的一种基于远程监督的参数自适应农业知识图谱推荐方法,其特征在于,所述步骤(7)中在农业领域的文本数据上抽取实体间的关系,通过Echarts渲染实体关系数据,将推荐结果展示在web端的具体步骤如下:(7.1)得到最优参数的神经网络模型PCNN,抽取农业文本数据中的两个实体entity1和entity2以及二者之间的关系relation;
(7.2)基于一个已经建立好的小型三元组知识图谱库wikidataRelation,将三元组关系进行映射;
(7.3)利用算法模型对维基语料库中的语句进行实体抽取,实体映射到wikidataRelation数据库中,实现远程监督的算法中的自动打标签功能;
(7.4)输入农业文本数据,筛选文本数据中的实体,并抽取二者之间的关系;
(7.5)农业知识服务系统、农业互动百科以及维基百科中的数据导入到neo4j图数据库中;
(7.6)判断数据库中是否存在搜索的实体,若没有,则执行步骤(7.9);
(7.7)用Cython语句将搜索结果以图的形式展示在web端;
(7.8)python接口封装,利用web框架Django对数据进行展示,则执行步骤(7.10);
(7.9)显示不存在该实体;
(7.10)在任务框中搜索农业知识问题的文本数据,文本数据进行中文分词技术,得到实体;
(7.11)利用Cython语句对数据库进行搜索;
(7.12)判断数据库中是否存在该问题答案,若不存在,则执行步骤(7.9);
(7.13)在农业领域的文本数据上抽取实体间的关系,通过Echarts渲染实体关系数据,将推荐结果展示在web端。