1.一种基于CCSK和深度学习的语义通信方法,其特征在于,包括以下步骤:
步骤(1):发送端将语音转换为文本;
步骤(2):对步骤(1)转换的文本进行特征矩阵提取,得到特征矩阵;
所述步骤(2)包括以下子步骤:
(2.1)对步骤(1)转换的文本做预处理,所述预处理包括分词、生成词向量和词向量位置编码三部分;所述预处理具体为:1)分词:对文本进行分词处理,即将文本输入jieba中文分词模型,按文本原顺序得到w1,w2,…,wi,…,wn总计n个词语,下标i表示第i个词语,i∈[1,n];所述jieba中文分词模型为一个常用的分词器模型,可以将句子分成多个词语;2)生成词向量:随后将词语w1,w2,…,wi,…,wn输入到Word2vec中文预训练模型,得到相对应的词向量x1,x2,…,xi,…,xn,所述词向量x1,x2,…,xi,…,xn为维度为300的行向量;所述Word2vec中文预训练模型是一种常用的生成词向量的模型,可以将词语映射为向量;3)词向量位置编码:使用正弦/余弦函数将词向量x1,x2,…,xi,…,xn生成位置向量t1,t2,…,ti,…,tn,公式如下:其中a指的是词向量xi的第a维度,a∈[1,300];t(i,a)指的是位置向量ti第a个纬度的值;将词向量x1,x2,…,xi,…,xn和对应的位置向量t1,t2,…,ti,…,tn相加得到词嵌入向量e1,e2,…,ei,…,en,其中ei=xi+ti,将词嵌入向量e1,e2,…,ei,…,en记作矩阵E;
(2.2)对步骤(2.1)得到的矩阵E进行自注意力机制操作,所述自注意力机制操作过程如下:首先生成Query查询矩阵Q1、Key键矩阵K1和Value值矩阵V1:
其中,分别是维数为300的权重方阵,方阵中元素的具体值经过预训练得到,预训练共确定十八个权重方阵,所述十八个权重方阵都为维数为300的权重方阵,预训练使用的数据集在正文开头加上了单词“
令Query查询矩阵Q1中的查询向量分别与矩阵K1中的所有键向量进行score运算;
以Query查询矩阵Q1中的查询向量q1为例,查询向量q1与键向量ki(i∈[1,n])做score运算,结果记作α1,m,m=i;所述score运算的公式为:将所有结果α1,1,α1,2,…,α1,m,…,α1,n进行soft-max归一化操作得到所述soft-max是深度学习中常用的函数,可以把输入映射成0~1之间的实数,并且保证所有输入映射到的实数的和为1,soft-max归一化操作的公式为:再将分别与Value值矩阵V1中的对应的值向量v1,v2,…vi,…,vn相乘得到加权向量z1,z2,…zm,…,zn,相乘操作为将加权向量z1,z2,…zm,…,zn相加得到思想向量b1;
将上述操作进行n次,得到向量b1,b2,…,bi,…,bn,公式如下:
至此,生成了矩阵E中所有行向量对应的思想向量b1,b2,…,bi,…,bn;
(2.3)将步骤(2.2)得到的思想向量b1,b2,…,bi,…,bn通过前馈神经网络输出向量f1,f2,…,fi,…,fn,所述前馈神经网络由两次变换构成,第一次通过ReLU激活函数做非线性映射,第二次使用线性激活函数恢复到原始梯度;
(2.4)将步骤(2.3)得到的向量f1,f2,…,fi,…,fn记作矩阵F,对矩阵F进行自注意力机制操作,本次自注意力机制操作中,将矩阵F分别与权重方阵相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵,其余具体操作过程同步骤(2.2),得到矩阵F中所有行向量对应的思想向量d1,d2,…,di,…,dn,并将思想向量d1,d2,…,di,…,dn通过前馈神经网络输出向量将向量记作特征矩阵
步骤(3):对步骤(2)得到的特征矩阵进行解码,得到语义信息;
步骤(4):对步骤(3)得到的语义信息生成256bit的扩频码,通过该扩频码对语义信息进行分组扩频,得到扩频后的信号并传输至接收端;
步骤(5):接收端生成与发送端一致的256bit扩频码,通过识别同步位来获取发送端传输的扩频后的信号并进行解扩,得到语义信息;
步骤(6):将步骤(5)得到的语义信息转成语音,完成传输。
2.根据权利要求1所述的一种基于CCSK和深度学习的语义通信方法,其特征在于,所述步骤(3)包括以下子步骤:(3.1)将步骤(2)得到的特征矩阵进行解码;
首先进行初始化;将单词“
然后将初始词嵌入向量s进行第一次自注意力机制操作,本次自注意力机制操作中,将向量s分别与权重方阵相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵,其余具体操作过程同步骤(2.2),得到初始词嵌入向量s相对应的思想向量c1;
然后将思想向量c1和步骤(2)中得到的特征矩阵进行第二次自注意力机制操作,本次自注意力机制操作中,用思想向量c1与权重方阵相乘生成Query查询矩阵,用步骤(2)得到的特征矩阵分别与权重方阵和相乘生成Key键矩阵和Value值矩阵,其他具体操作过程同步骤(2.2),得到思想向量最终将思想向量通过前馈神经网络输出向量z,所述向量z的纬度为300;
(3.2)将步骤(3.1)得到的向量z进行第一次自注意力机制操作,本次自注意力机制操作中,将向量z分别与权重方阵相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵,其余具体操作过程同步骤(2.2),得的向量z相对应的思想向量c2;
然后将思想向量c2和步骤(2)得的的特征矩阵进行第二次自注意力机制操作,本次自注意力机制操作中,用思想向量c2与权重方阵相乘生成Query查询矩阵,用步骤(2)得到的特征矩阵分别与权重方阵和相乘生成Key键矩阵和Value值矩阵,其他具体操作过程同步骤(2.2),得到思想向量最终将思想向量通过前馈神经网络输出向量所述向量的纬度为300;
(3.3)将步骤(3.2)得到的向量输入神经网络层,经变换得到第一个单词的概率向量μ,所述概率向量μ的纬度为30000,通过该概率向量在包含30000单词的词库中搜索对应单词,得到第一个目标单词W1;其中搜索规则为:找到概率向量μ中值最大的纬度记作max_value,找到词库中的第max_value个单词作为第一个目标单词W1;
(3.4)将步骤(3.3)得到的第一个目标单词W1对应的词嵌入向量重复执行步骤(3.1)、步骤(3.2)以及步骤(3.3),生成第二个目标单词W2;
(3.5)重复步骤(3.4),直至输出目标单词为“
(3.6)可通过最小化损失函数来训练模型参数,所述模型参数包括矩阵元素与神经网络权重,最小化损失函数定义为:其中,q(Wl):第l个目标单词Wl出现在输入文本中的真实概率;
p(Wl):第l个目标单词Wl在语义信息中出现的预测概率。
3.根据权利要求2所述的一种基于CCSK和深度学习的语义通信方法,其特征在于,所述步骤(4)包括以下子步骤:(4.1)生成长度为256bit的扩频码,生成过程如下:由8级串联的移位寄存器和反馈逻辑线路可组成动态移位寄存器,带线性反馈逻辑的移位寄存器设定初始数码后,在时钟触发下,每次移位后各级寄存器会发生变化;动态移位寄存器可以生成一个长度为255bit的输出序列,这样序列被称为最长线性移位寄存器序列,即m序列;使用代码形式生成m序列,其中寄存器初始数码为:最高阶寄存器为1,其余寄存器为0;在生成的255bit的m序列的末尾增加一个值为0的bit位,生成符合长度要求的256bit的二进制序列作为扩频码;
(4.2)将语义信息转化为二进制形式,并按照每组256bit的长度对其进行分组得到多个数据分组,每个数据分组都为二进制形式序列;
(4.3)对步骤(4.2)分得的第一个数据分组进行分组扩频,所述分组扩频过程如下:将第一个数据分组转化为一个十进制数N;以得到的十进制数N为移位量,将步骤(4.1)生成的扩频码循环左移N位得到一个伪随机序列,该伪随机序列作为第一个数据分组的扩频传输序列;
使用的二进制-十进制转化规则为:视二进制序列为小端序存储,即二进制序列的头部位的权为20,所述头部位为最左边的一位,从左向右依次提高指数,每次加1,最后按权展开求和;
(4.4)对步骤(4.3)得到的第一个数据分组的扩频传输序列进行组帧,得到第一个数据帧,并将该数据帧传输至接收端;
组帧过程为:首先定义一个空的数据帧,在空的数据帧中依次加入3字节的同步位、步骤(4.3)中得到的第一个数据分组的扩频传输序列、2字节的CRC校验位后得到第一个数据帧;所述同步位用于识别数据帧中的有用信息;所述CRC校验位用于进行数据检验,CRC校验位的算法采用的是CRC-16标准;
(4.5)对步骤(4.2)中得到的所有数据分组都执行步骤(4.3)和步骤(4.4)操作,实现扩频、组帧和传输,至此完成语义信息的扩频传输。
4.根据权利要求3所述的一种基于CCSK和深度学习的语义通信方法,其特征在于,所述步骤(5)包括以下子步骤:(5.1)接收端生成解扩需要的256bit扩频码,生成过程与步骤(4.1)一致,且接收端生成的扩频码和发送端生成的扩频码相同;
(5.2)接收端持续识别同步位,所述同步位即为步骤(4.4)中添加的同步位;
(5.3)当接收端识别到同步位后,暂停匹配同步位,提取同步位后长度为272bit的二进制序列对其进行CRC校验,272bit包括256的扩频码和16bit的CRC校验位;对16bit的CRC校验位进行校验,当校验错误时,重新执行步骤(5.2);
(5.4)当同步位匹配成功且CRC校验正确时,视作有一个步骤(4)产生的数据帧到达接收端,对该到达的数据帧中包含的信息进行解扩;
提取同步位后长度为256bit的伪随机序列,将该序列和步骤(5.1)生成的扩频码进行匹配;匹配的具体过程为:将该伪随机序列和扩频码循环移位产生的所有可能伪随机序列都进行相关运算,实时更新得到最大相关值的伪随机序列和该伪随机序列较扩频码的移位值,分别记作matched_sq和max_value;其中的相关运算为:其中res为计算结果,x(m)为提取出来的伪随机序列的第m个bit位的值,y(m-a)为循环码向左移位a位的伪随机序列的第m个bit位的值;
(5.5)将步骤(5.4)得到的十进制数max_value根据二进制-十进制转换规则转化为二进制序列,所述二进制序列就是步骤(5.4)中所提取的二进制伪随机序列携带的原始数据信息;
(5.6)重复步骤(5.2)、步骤(5.3)、步骤(5.4)以及步骤(5.5)的操作,持续解扩所有到达接收端的数据帧,最终在接收端得到步骤(3)提取的语义信息,完成传输。