1.一种防御文本分类模型后门攻击的方法,其特征在于,包括以下步骤:
步骤一,随机选取数据集中的部分样本进行数据投毒,被投毒后的所述数据集定义为有毒数据集;
步骤二,在BERT网络的输出层后接上全连接层构成文本分类模型;
步骤三,将所述有毒数据集输入所述文本分类模型,按照有监督的方式对所述文本分类模型进行训练,将所述有毒数据集中训练损失值在预设范围内的样本隔离出来,判定为有毒样本,所述有毒数据集剩余的样本判定为干净样本;
步骤四,将所述有毒样本和所述干净样本输入所述文本分类模型,按照有监督的混沌训练机制训练所述文本分类模型;
所述步骤四中,所述有监督的混沌训练机制包括轮流进行的第一分支和第二分支,所述第一分支中,选取第一预设数量的所述有毒样本,并将所述有毒样本的标签更改为随机的错误值,然后将所述有毒样本输入所述文本分类模型,对所述文本分类模型进行训练;所述第二分支中,选取第二预设数量的所述有毒样本,并将所述有毒样本的标签更改为随机的错误值,选取与所述第二预设数量等量的所述干净样本,所述有毒样本和所述干净样本共同输入所述文本分类模型,对所述文本分类模型进行训练;
所述第一分支中,所述有毒样本输入所述文本分类模型后,使用交叉熵函数计算所述有毒样本的训练损失值;所述第二分支中,所述有毒样本和所述干净样本共同输入所述文本分类模型后,使用交叉熵函数分别计算所述有毒样本和所述干净样本的训练损失值,并计算得到最终训练损失值。
2.如权利要求1所述的防御文本分类模型后门攻击的方法,其特征在于,所述步骤三中,对于所述有毒数据集中数据长度大于预设长度的样本进行数据截断,数据长度小于预设长度的样本进行填补。
3.如权利要求1所述的防御文本分类模型后门攻击的方法,其特征在于,所述步骤一中,所述数据投毒包括,往所述数据集中的部分样本插入字符触发器、句子触发器、语法触发器或语义风格触发器。
4.如权利要求1所述的防御文本分类模型后门攻击的方法,其特征在于,所述步骤三中,所述有毒数据集中的样本按照训练损失值的数值大小进行递增排序,选取所述训练损失值最低的1%的样本判定为所述有毒样本。
5.如权利要求1所述的防御文本分类模型后门攻击的方法,其特征在于,所述第二分支中,所述有毒样本的训练损失值的权重大于所述干净样本的训练损失值的权重。
6.如权利要求1所述的防御文本分类模型后门攻击的方法,其特征在于,所述第二分支中,所述最终训练损失值的计算公式如下:其中,表示交叉熵损失计算函数,表示文本分类模型, 表示第i个批次干净样本,表示干净样本 对应的分类标签,表示模型参数, 表示第i个批次有毒样本,表示有毒样本 被更改后的随机错误标签,表示有毒样本 计算损失时的权重。
7.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行,以实现权利要求1至6任一项所述的防御文本分类模型后门攻击的方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行,以实现权利要求1至6任一项所述的防御文本分类模型后门攻击的方法。