欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103195975
申请人: 云南大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于文本改写模型的隐写文本生成方法,其特征在于,包括以下步骤:S1、采集文本训练数据和测试数据,并将待加密的文本数据转换为比特流;

S2、构建预训练降噪自编码模型;

S3、微调模型,使用数据增强方式生成微调数据集;

S4、基于条件限制性编码进行二次微调,在输入文本后拼接一个模板,模板内容为期望输出的文本长度;

S5、秘密信息嵌入,在文本生成的解码阶段,使用特定的分组掩码操作根据S1生成的比特流来约束当前时间步的生成;

S6、文本重排序,同时生成多个候选文本,计算其困惑度并选择最优解;

S7、秘密信息提取,接收方收到携带秘密信息的隐写文本后,通过事先确定的解码策略从隐写文本中恢复秘密信息。

2.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,S1将文本训练数据和测试数据转化为比特流的具体方式为通过异或操作将字符串转换为对应的utf‑8编码的比特序列。

3.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,S2中所述降噪自编码模型具备编解码结构,其编码器首先会将输入映射成隐空间向量,解码器再将该隐空间向量融合上下文信息生成对应的输出文本Y't,具体形式如下式:H=Encoder(Y)

Y′t=Decoder(Y′1:t‑1,H)

其中,t为第t个时刻,Encoder()表示编码过程,Decoder()表示解码过程,Y表示输入文本,H表示隐空间向量,Y`表示Y对应的输出文本,Y'1:t‑1表示第1时刻到t‑1时刻Y对应的输出文本。

4.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,微调模型的具体过程如下:在降噪自编码模型的预训练阶段,对于给定的原始文本Xoriginal,通过在Xoriginal添加手动定义的噪声来合成一个噪声文本Xcorrupt,再利用降噪自编码模型将损坏后的文本恢复为Xoriginal:PBART(Xoriginal|Xcorrupt)

其中,PBART()表示Xcorrupt被恢复为Xoriginal的概率;

从原始数据集中采样出了困惑度大于20且小于200的高质量文本,然后使用数据增强工具合成扰动数据,包括8个扰动操作:随机单词插入、随机单词替换、同义词替换、反义词替换、单词分解、单词删除、单词换位以及上述方法的随机组合,最后,选择100万条数据样本作为模型的输入,并选择这些扰动数据对应的原始数据作为标签来微调模型。

5.根据权利要求4所述的基于文本改写模型的隐写文本生成方法,其特征在于,在所述微调过程中,Xcorrupt作为解码器的输入并得到隐空间向量H,编码器在Xcorrupt的限制下生成与其语义相关并去噪的文本Xoriginal。

6.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,所述S4中模板为“Generate a sentence oflength Lbyparaphrasingthe content onthe left”,其中,L为本发明想要生成的文本的长度。

7.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,所述S5的具体过程为,降噪自编码模型首先输出一个维度与词表大小相同的向量,在经过softmax之后,对词表进行分组,保留对应当前待加密比特序列的分组内的单词的概率,其他概率则全置为0,并基于分组掩码的方式从期望的组内选择概率最高的单词作为当前时刻的输出。

8.根据权利要求7所述的基于文本改写模型的隐写文本生成方法,其特征在于,所述S5n中分组具体为,将词表划分为2个组,每一个组用一个唯一的长度为n的比特序列来表示。

9.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,文本重排序的过程中,选择贪心搜索或beam‑Search任一方式进行输出。

10.根据权利要求1所述的基于文本改写模型的隐写文本生成方法,其特征在于,计算困惑度并选择最优解的计算步骤如下:利用beam‑search方式得到K个候选集,然后计算候选集中所有文本的困惑度,最终选择困惑度perplexity最低的文本作为最终的隐写文本;困惑度计算方式如下:其中,exp为指数函数,wi为第i个单词的条件概率,N为文本长度。