1.一种基于超混沌伪随机序列的加密域跨模态信息检索方法,其特征在于,包括:预处理图像、音频、触觉信号三种模态;
将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中,分别进行行置乱、列置乱和像素值置换,得到所述三种模态的密文信息;
将所述预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中进行加密过程包括,三种模态预处理后得到的M×M×3图像都包括R、G、B三个通道分类,每个通道是大小为M×M的矩阵,对每个通道分别进行加密,将M×M的矩阵记为I;
四维超混沌Chen系统:
其中, 表示状态变量,x、y、z、w表示系统变量,a、b、c、d、e表示系统的控制参数,当a=35、b=3、c=12、d=7、e=0.58时,系统处于超混沌状态;
设置起始时间点TIME_START、终止时间点TIME_FINAL以及步长STEP,并设置系统的四个初值[x0 y0 z0 w0],即为加密系统的密钥,并利用Runge‑Kutta方法对超混沌Chen系统进行求解,得到最终的四维超混沌伪随机序列lm;
其加密过程包括位置置乱、像素值置换;
利用预训练好的VGG16网络对所述三种模态的密文信息进行特征提取,并将所述三种模态在各自对应的分支网络中进行训练;
将训练后的三种模态输入多模态语义融合网络中进行语义融合,检索其输出的结果,将检索的结果进行解密,得到明文结果输出;
所述多模态语义融合网络的结构包括,
全连接层3、Dropout层3、全连接层4、Dropout层4、全连接层5、Dropout层5、全连接层6;
将所述检索的结果进行解密包括像素值置换、列置乱和行置乱;
所述像素值置换包括,
将检索出的密文结果的第一通道R的矩阵表示为E,对所述E进行像素值置换;
将矩阵E中的元素记为E(i,j)(1≤i≤M,1≤j≤M),对于第一个区间[0,32),从第一个元素位置(1,1)开始,从左到右,从上到下,遍历至最后的位置(M,M),若元素E(i,j)小于32,则进行像素值置换:I(i,j)=bitxor(E(i,j),lp1(num1,1))I(i,j)=mod(I(i,j),32)
其中,num1的初始值为0,每有一个元素E(i,j)的值小于32,所述num1的值加1;
对于第二个区间[32,64),从第一个元素位置(1,1)开始,从左到右,从上到下,遍历至最后的位置(M,M),若32≤E(i,j)<64,则进行像素值置换:I(i,j)=bitxor(E(i,j),lp2(num2,1))I(i,j)=mod(I(i,j),32)+32其中,num2的初始值为0,每有一个元素E(i,j)的值32≤E(i,j)<64,所述num2的值加
1;
依此类推,对于最后一个区间[224,256),从第一个元素位置(1,1)开始,从左到右,从上到下,遍历至最后的位置(M,M),若224≤I(i,j)<256,则进行像素值置换:I(i,j)=bitxor(E(i,j),lp8(num8,1))I(i,j)=mod(I(i,j),32)+224其中,num8的初始值为0,每有一个元素E(i,j)的值224≤E(i,j)<256,所述num8的值加1;
最终得到像素值置换后的图像I;
所述列置乱和行置乱包括,
对经过所述像素值置换后的图像I进行列置换和行置换:先进行列置乱,将矩阵I的第cM列与第一列互换,再将第cM‑1列与第一列互换,以此类推,最后将第c1列与第一列互换;
再进行行置乱,将经过列置乱后的矩阵I的第rM行与第一行互换,再将第rM‑1行与第一行互换,以此类推,最后将第r1行与第一行互换;
最终得到经过列置乱和行置乱后的矩阵I,I即为最终解密结果。
2.如权利要求1所述的基于超混沌伪随机序列的加密域跨模态信息检索方法,其特征在于:预处理所述图像、音频、触觉信号三种模态包括,将所述图像的分辨率调整为M×M×3;
所述音频经过预加重、分帧、加窗、计算功率谱、滤波器组得到音频的时频图,并将分辨率调整为M×M×3;
所述触觉信号经过预加重、分帧、加窗、计算功率谱、滤波器组得到触觉信号的时频图,并将分辨率调整为M×M×3。
3.如权利要求1所述的基于超混沌伪随机序列的加密域跨模态信息检索方法,其特征在于:所述多模态语义融合网络的损失函数包括,设置损失函数为:
L=L1+λ·L2
其中,λ表示损失函数的超参数,EV、EA、ET分别表示图像、音频、触觉信号经过加密后的样本数, 表示加密图像样本EV中第k个样本经过模型输出的特征, 表示加密图像样本EV中第k个样本特征对应的标签, 表示加密音频样本EA中第k个样本经过模型输出的特征, 表示加密音频样本EA中第k个样本特征对应的标签, 表示加密触觉信号样本ET中第k个样本经过模型输出的特征, 表示加密触觉信号样本ET中第k个样本特征对应的标m签,g(·)表示多分类交叉熵损失函数,Es表示图像、音频、触觉信号的样本总数,e 表示密文样本总数Es中第m个样本经过模型输出的特征,cm表示该第m个样本对应的类别中心。
4.如权利要求1所述的基于超混沌伪随机序列的加密域跨模态信息检索方法,其特征在于:所述输出的结果包括,基于一个查询使用的密文样本和一个检索使用的密文样本,经过所述多模态语义融合网络的输出向量记为qi和rj,并采用余弦函数进行相似性度量:其中,i和j分别表示查询集和检索集中样本的序号;
固定i,将j遍历检索集后按值从大到小的顺序进行排序,最大的值为检索出的最相似的结果,即为所述输出的结果。