1.基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,包括:
(1)获取系统提示词与用户输入,使用固定模板将系统提示词与用户输入组合,构建带有角色格式的聊天输入指令文本;
(2)获取目标聊天大语言模型对应的分词器和嵌入矩阵,使用所述分词器和嵌入矩阵,将聊天输入指令文本转换为对应的嵌入向量输入,所述嵌入向量输入包含系统提示词对应的嵌入表示与用户输入对应的嵌入表示;
(3)获取用户身份信息,将所述用户身份信息转换为固定长度的比特串,将所述比特串与系统提示词对应的嵌入表示输入至预先训练完成的水印编码器中,生成包含m个嵌入向量的虚拟提示词表示,其中m为预定义水印消息的长度,将所述虚拟提示词表示插入至系统提示词对应的嵌入表示的末端位置,得到更新后的系统提示词嵌入表示;其中,所述水印编码器由若干个变换器模块依次接续构成,水印编码器通过注意力机制将用户身份信息对应的比特串编码至与系统提示词对应的嵌入表示对齐的嵌入空间中,生成所述虚拟提示词表示;
(4)将更新后的系统提示词嵌入表示与用户输入对应的嵌入表示拼接,输入至目标聊天大语言模型中,得到带有用户身份信息水印的生成文本;
(5)将生成文本输入至预先训练完成的水印提取器中,恢复出所述生成文本中嵌入的用户身份信息,基于恢复得到的用户身份信息实现生成文本的溯源。
2.根据权利要求1所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(1)中,所述固定模板包含预定义的指令词元与角色定义信息,所述角色定义信息包括系统、用户和模型三类角色对应的标识内容,构建聊天输入指令文本时,系统提示词与用户输入分别按照系统角色与用户角色对应的标识内容进行封装。
3.根据权利要求1所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(2)中,将聊天输入指令文本转换为对应的嵌入向量输入的具体过程为:(2.1)通过所述分词器对聊天输入指令文本进行分词切片处理,得到由若干词元组成的文本序列;
(2.2)查找分词器对应的编码表,将文本序列中的每个词元转换为对应的词元标识,得到由词元标识组成的编码序列;
(2.3)根据词元标识从所述嵌入矩阵中匹配对应的嵌入向量,得到与聊天输入指令文本对应的嵌入向量输入。
4.根据权利要求1所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(3)中,虚拟提示词表示插入完成后,将更新后的系统提示词嵌入表示与用户输入对应的嵌入表示按顺序拼接,得到的完整嵌入表示的维度与目标聊天大语言模型的输入维度相匹配。
5.根据权利要求1所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(4)中,得到带有用户身份信息水印的生成文本的具体过程为:(4.1)将拼接完成的嵌入表示输入至目标聊天大语言模型中,通过目标聊天大语言模型的多层自注意力机制计算得到文本下一个词元的预测概率分布;
(4.2)通过预先设定的连续采样策略从步骤(4.1)得到的预测概率分布中选定一个词元作为下一个位置的预测文本;
(4.3)将步骤(4.2)采样得到的词元拼接至步骤(4.1)的输入序列之后,重复步骤(4.1)至步骤(4.3)的过程,直到输出长度达到预先设定的最大值,或采样得到目标聊天大语言模型词表中预定义的终止符;
(4.4)将最终得到的全部词元组合为目标聊天大语言模型输出的带有用户身份信息水印的生成文本。
6.根据权利要求5所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(4)中,在得到生成文本的过程中,同步计算步骤(4.1)得到的词元预测概率分布与预期回答概率分布之间的分布损失;在得到生成文本后,通过预训练的语义表征模型提取生成文本的语义表示,计算生成文本与预期回答之间的语义损失,所述分布损失与语义损失均用于水印编码器的训练优化。
7.根据权利要求1所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(5)中,所述水印提取器由长短期记忆网络与若干个全连接层依次接续构成,所述长短期记忆网络的隐空间维度与目标聊天大语言模型的嵌入空间维度保持一致。
8.根据权利要求7所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,步骤(5)中,恢复用户身份信息的具体过程为:(5.1)通过分词器和嵌入矩阵,将生成文本转换为对应的连续嵌入表示;
(5.2)将生成文本对应的连续嵌入表示按词元顺序逐个输入至长短期记忆网络中,提取得到生成文本的序列特征;
(5.3)将提取得到的序列特征输入至全连接层中,得到水印信息各比特对应的预测结果,基于预测结果还原得到用户身份信息对应的比特串,最终转换得到用户身份信息。
9.根据权利要求1所述的基于虚拟提示词嵌入的大语言模型文本溯源方法,其特征在于,在水印编码器与水印提取器的训练阶段,设置有文本改写攻击模拟模块,所述文本改写攻击模拟模块基于预训练的大语言模型构建,将目标聊天大语言模型生成的带水印文本输入至文本改写攻击模拟模块中,得到改写后的攻击文本,将攻击文本与原始带水印文本一并输入至水印提取器中,用于训练优化水印提取器的水印恢复能力。