欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024111009145
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于图传播和动态注意力的网络安全命名实体识别方法,其特征在于,包括如下步骤:步骤1:对网络安全文本数据进行预处理并初始化,使用预训练语言模型获取每个字符的综合特征输出序列Hc;

步骤2:根据网络安全词典,对输入文本序列进行匹配单词获得匹配单词集合,根据字符序列的字符节点与匹配到的单词节点构建异构图,并且标注边界关系;

步骤2.1:定义网络安全词典为Dict,初始化一棵前缀树T,根节点为空;

步骤2.2:对于网络安全词典Dict中的每个单词,从根节点出发,依次每个单词的每个字符作为节点加入T,并且将每个单词最后一个字符对应的节点标记为终止节点;

步骤2.3:初始化空的匹配单词集合W={};

步骤2.4:对于输入文本序列X={x1,x2,...,xn},i取值为1~n,其中xi表示文本中的第i个字符,对于输入文本序列X的第一个字符开始,在T树上尝试正向匹配更长的单词;

步骤2.4.1:如果匹配失败,则将当前字符作为一个新的单词w加入到W中,反之,则将这个最长的匹配单词w加入到W中;

步骤2.4.2:将游标移动到下一个未匹配字符处继续执行步骤2.4匹配过程,直至达到输入文本X的末尾;

步骤2.4.3:返回最终的匹配单词集合W={w1,w2,..,wm},m为匹配出单词的总个数,wm为匹配到的单词;

步骤2.5:定义异构图GG=(VG,EG),节点集合VG包含两种节点类型字符节点集合vc和单词节点集合vw,EG为边集合,设置边的标签为B,M,F,S;

步骤2.6:对于输入文本序列X,如果字符xi是某个单词wj∈W的开头,添加单词节点wj到vw,xi添加到vc,并且连接边,设置边的标签为B;

步骤2.7:如果字符xi是某个单词wj∈W的中间部分,添加单词节点wj到vw,xi添加到vc,并且连接边,设置边的标签为M;

步骤2.8:如果字符xi是某个单词wj∈W的结尾:添加单词节点wj到vw,xi添加到vc,并且连接边,设置边的标签为F;

步骤2.9:如果字符xi就是W中单字符单词:将xi分别添加到vw和vc,并且连接边,设置边的标签为S;

步骤2.10:遍历输入序列X,得到异构图GG=(VG,EG);

步骤3:对步骤2匹配的单词进行预训练,得到预训练向量;对所构建的异构图通过图注意力网络传播和聚合字符和单词的特征表示,融合语义和边界信息的词特征,获取异构图中单词节点的最终表示;

步骤4:使用门控融合机制动态融合字符特征和单词特征,捕获字符、单词序列的上下文信息,得到融合后的特征序列Mf;

步骤5:对融合后的特征序列进行相对位置编码,结合动态卷积层和相对注意力机制,得到全局上下文编码后的隐藏状态序列;

步骤6:在条件随机场解码中引入束搜索计算步骤5得到的全局上下文的隐藏状态序列并进行序列标注,得到最优标注序列。

2.根据权利要求1所述的基于图传播和动态注意力的网络安全命名实体识别方法,其特征在于,所述步骤1的具体方法为:步骤1.1:对文本数据进行预处理,包括去除无用的格式信息、错误修正、文本标准化;

步骤1.2:将处理后的文本数据格式化为模型可接受的输入格式,定义输入文本序列X={x1,x2,...,xn},i取值为1~n,xi表示第i个字符,n为字符的个数,X为经过预处理的单个网络安全报告、威胁情报文本,或来自多个数据源的文本集合;

步骤1.3:对于文本序列中的每个字符xi通过查询字符映射表C,获得字符嵌入向量Fxi=C(xi),其中C是字符到向量的映射表,随机初始化得到;

步骤1.4:将字符嵌入向量Fxi输入到预训练语言模型BERT中,获得字符xi对应的字符向量表示hi=BERT(Fxi);

步骤1.5:在预训练模型的多个编码器层中迭代进行,每层都可能调整和优化特征表示,最终得到每个字符的特征输出序列Hc={h1,h2,...,hn},i取值为1~n,其中hi对应于xi的字符向量表示。

3.根据权利要求1所述的基于图传播和动态注意力的网络安全命名实体识别方法,其特征在于,所述步骤3的具体方法为:步骤3.1:对于步骤2中所匹配的单词W={w1,w2,..,wm}使用预训练模型进行训练得到单词的预训练向量步骤3.2:初始化节点表示,字符节点表示:单词节点表示:其中hc∈Hc为字符的预训练向量,Hc为步骤1中的综合特征输出序列,hw∈HW为单词的预训练向量;

步骤3.3:对异构图GG=(VG,EG)中的节点v,采用自注意力机制来计算节点之间的注意力权重:注意力分数为注意力权重为其中N(v)是节点v的邻居节点集合,是节点v的邻居节点u在前一层的表示向量,l表示层数,是可学习权重矩阵,用于线性变换节点表示,将节点v和u的表示向量分别通过权重矩阵线性表换,使用LeakyReLU激活函数,将结果做softmax归一化得到节点v对邻居节点u的注意力权重步骤3.4:利用异构图结构中边的属性信息,每种边属性标记表示一个嵌入向量其中dr是边属性嵌入维度,将原始的注意力分数与边属性嵌入向量通过可学习变换矩阵得到融合边属性的新的注意力分数使用softmax函数将新的注意力分数转化为融合边属性的注意力权重步骤3.5:在图注意力网络GAT的第l层中,对于每个节点v,计算其来自邻居节点u以及边属性的注意力加权和表示:是节点v对邻居节点u以及融合边属性的注意力权重;

步骤3.6:进行多头注意力融合其中为第g个注意力头的值变换矩阵,为第g个注意头的节点v对邻居节点u以及融合边属性的注意力权重,将多头注意力融合后,获得节点v在l层的最终表示其中表示输出线性变换矩阵,将G个注意力头的输出拼接后进行变换,σ是非线性激活函数;

步骤3.7:经过l层的传播后,每个单词节点会有一个综合考虑了多跳邻居信息的表示,输出异构图GG中单词节点的最终表示

4.根据权利要求3所述的基于图传播和动态注意力的网络安全命名实体识别方法,其特征在于,所述步骤4的具体方法为:步骤4.1:将字符特征和词特征分别通过一个线性映射和tanh非线性激活函数转化到新的向量空间tc和tw,计算公式如下:tc=tanh(HcWc+bc),tw=tanh(HwWw+bw),其中Wc、bc、Ww、bw都是可训练参数,Hc为步骤1中的字符综合特征输出序列,Hw为经过图传播后的单词特征序列;

步骤4.2:将tc和tw进行拼接,经过一个线性映射Wp和sigmoid激活函数,得到一个0-1之间的门控值p,计算公式如下:p=σ(([tc;tw])Wp),其中Wp可训练参数,σ是sigmoid激活函数;

步骤4.3:使用门控权重p对tc和tw进行加权求和,得到最终的融合特征序列Mf,计算公式如下:Mf=ptc+(1-p)tw,当p接近1时,Mf主要由字符特征tc决定;当p接近0时,Mf主要由词特征tw决定。

5.根据权利要求1所述的基于图传播和动态注意力的网络安全命名实体识别方法,其特征在于,所述步骤5的具体方法为:步骤5.1:为了捕捉序列中单词/字符之间的相对位置信息,对输入的融合特征Mf添加相对位置编码PE,采用基于正弦/余弦函数的相对位置编码:其中pos是元素在序列中的位置,I是位置编码向量中的维度索引,dmodel是特征向量的维度;

步骤5.2:将位置编码PE与融合特征Mf相加,产生增强了位置信息的特征表示M′f;

步骤5.3:通过将M′f分别映射为Q,K,V,计算公式为:Q=M′fWQ,K=M′fWK,V=M′fWV,其中Q,K,V分别为查询、键和值向量,WQ,WK,WV分别为对应的权重矩阵;

步骤5.4:相对注意力计算,计算公式如下:

(QKT)ij表示序列中第i个元素和第j个元素的查询向量与键向量的点积运算,posi-posj表示序列中第i个元素和第j个元素之间的相对位置差,A为可训练的相对位置注意力偏置矩阵,dk为键向量的维度,Q,K,V分别为查询、键和值向量;

步骤5.5:使用相对注意力层并且引入动态卷积层进行交替堆叠,加入前馈网络FFN增强非线性建模能力,每一层的输出作为下一层的输入,并通过残差连接和归一化来防止梯度消失/爆炸;

步骤5.6:经过若干层堆叠后,输出上下文编码后的隐藏状态序列U。

6.根据权利要求5所述的基于图传播和动态注意力的网络安全命名实体识别方法,其特征在于,所述步骤6的具体方法为:步骤6.1:对于上下文编码模块输出的隐藏状态序列,对应原始文本的n个字符位置;对隐藏状态序列使用线性层计算为规范化发射分数:P(1)=UW(1)+b(1),其中W(1)和b(1)是线性层的权重和偏置,P(1)是一个分数矩阵;

步骤6.2:初始化束大小为R1,对于序列中每个位置i,i=1,2,…,n,根据Pi(1)保留分数最高的R1个标记Pi(1)为对应原始文本的每个字符位置i的分数矩阵,对于每条路径y1:i(1)计算累计分数,包括发射分数和转移分数:其中表示隐藏状态和标记的发射概率,表示从标记转移到标记的概率;

步骤6.3:剪枝,在每个位置i后,保留分数最高的R1条路径;

步骤6.4:重复步骤6.2和步骤6.3,直到处理完整个序列,输出分数最高的标记路径作为第一层预测步骤6.5:利用第一层束搜索预测生成增强的隐藏序列状态U(2):其中表示第二层CRF解码器中位置i的增强向量,是第一次解码器中对位置i的预测标记的嵌入表示;

步骤6.6:将U(2)输入一个线性层得到未规范化发射分数P(2);

步骤6.7:初始化第二层束大小为R2,基于Pi(2)保留每个位置i分数最高的R2个标记高分标记对于每条路径y1:i(2),计算累计分数,包括发射分数和转移分数,在每个位置i后,执行剪枝,只保留累积分数最高的R2条路径;

步骤6.8:重复步骤6.6和步骤6.7,直到处理完整个序列,输出分数最高的标注路径作为第二层预测

7.基于图传播和动态注意力的网络安全命名实体识别装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1-6任一项所述的基于图传播和动态注意力的网络安全命名实体识别方法。