1.一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:包括如下步骤:
S1:基于现有数据集微调BERT预训练模型,经过词嵌入、位置嵌入、权重计算操作,使用训练完成的模型预测收集到的领域内其他未标注的数据,对于每条未标注样本得到特征矩阵;
S2:根据,使用置信度筛选机制得到样本的置信度;并将样本置信度大于阈值的样本作为可信样本,与原有的样本一起投入到后续的训练;
S3:为每条样本构造格子结构,生成具有格子结构的样本;得到原始样本向量s1和格子样本s2;所述步骤S3中生成包含词汇特征的样本的方式为将一个词语也作为一个令牌,并使用头指针和尾指针标识这个词语在文本中出现的起始位置;格子结构有不同长度的跨度,对于格子中的两个跨度和,他们之间有三种关系:交集、包含和分离,他们之间的关系由他们的首尾决定;使用head[i]和tail[i]表示的头部和尾部的索引位置, 使用head[j]和tail[j]表示的头部和尾部的索引位置;表示的头部索引位置和的头部索引位置的距离;表示的头部索引位置和的尾部索引位置的距离;表示的尾部索引位置和的头部索引位置的距离;表示的尾部索引位置和的尾部索引位置的距离;
S4: 将向量s2作为输入传给FLAT-BERT模型,经过字词嵌入、位置嵌入、权重计算操作得到融入了字词特征的特征表示矩阵;
S5:将向量s1作为输入传给BERT预训练模型,经过词嵌入、位置嵌入、权重计算操作得到词向量特征表示矩阵;
S6:将矩阵分别通过卷积运算以及池化运算,得到向量l,并将l扩展成与同样的形状,得到样本句子特征表示矩阵;将以等权重的方式在水平方向上进行拼接得到样本总体特征表示矩阵;
S7:使用线性变换矩阵对进行线性变换,得到每一个令牌归属的命名实体,抽取出的实体即为识别的结果。
2.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:所述步骤S1中词嵌入、位置嵌入、权重计算的具体计算过程如下:其中,s1是样本向量,是词向量线性变换矩阵,使用对s1进行线性变换得到词向量矩阵;接着使用sin和cos函数的线性变换来进行位置编码,其中和分别代表词向量中奇数位置和偶数位置的位置编码,得到位置编码矩阵PE;将PE与按照对应位置相加的方法得到最终的模型输入;对使用BERT中的自注意力算法Self-Attention得到样本特征。
3.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:所述步骤S2中的置信度筛选机制根据依次进行如下计算:需要首先通过对进行线性变换得到,其中表示了每一个令牌归属到每一个命名实体的得分,是对进行线性变换的矩阵;为了将得到的置信度矩阵表征为概率,使用方法对进行运算,其中是对特征矩阵中每一个令牌的特征向量进行归一化方法,进而得到每一个令牌的置信度,其中,表示每个令牌分类的分数;根据每一个令牌i的置信度再计算每个预测出的命名实体的置信度,一个命名实体中包含多个令牌,根据命名实体所包含的令牌计算出命名实体的置信度;表示第j个命名实体的置信度;最终根据多个命名实体的置信度计算得到样本的置信度。
4.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:对于单个的字符,其头指针和尾指针是一样的。
5.根据权利要求2所述的一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:所述步骤S4中字词嵌入、位置嵌入、权重计算操作的具体计算的过程如下:其中,是一个可学习的参数,表示连接算子,的计算方式是通过sin和cos来进行的;将R与按照对应位置相加的方法得到最终的模型输入;对使用FLAT BERT中的自注意力算法Attention得到样本特征。
6.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:所述步骤S6中将矩阵分别通过多个尺度的卷积运算以及池化运算得到向量l后,再得到矩阵与的具体运算过程为:首先将通过三个尺度的二维卷积核得到矩阵A,其中三个尺度的卷积核的长度分别为2、3、4,宽度为的宽度,且三个卷积核进行卷积后分别需要进行Relu激活与MaxPooling池化操作,最后得到向量l;通过expand扩张的方式,将l扩张成与同样的形状得到全局特征表示矩阵,使用水平拼接的方式拼接两个特征表示矩阵、得到上下文特征表示矩阵,concat即为水平拼接的操作。
7.根据权利要求1所述的一种面向金融产品智能推荐系统的命名实体识别方法,其特征在于:所述步骤S7中,使用线性变换矩阵对进行线性变换,具体计算过程为:首先使用矩阵与样本总体特征表示矩阵相乘,并经过运算得到所有令牌属于每个实体类别的概率矩阵,其中是对向量进行归一化的操作;对使用得到每一个令牌属于每个实体类别的结果。