欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018113840369
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种云环境下分布式密文索引切片检索方法,其特征在于,包括以下步骤:(1)数据预处理:记文档编号为docId,顺序读取文档数据集D,利用中文分词器进行分词处理,构成词项集合,记词项为token=<term,docId,tf>,其中,term是关键词内容,docId是关键词所属文档编号,tf是关键词在文档中出现的频率;将词项集合按照term的字典顺序从小到大排序,如果term相同,则按照文档编号从小到大排序,使得含有相同term的token词项排列在一起;

(2)构建倒排索引:顺序扫描token词项集合,根据token词项信息中的term划分成多个token词项子集合,构建关键词词典T、倒排列表文件L和倒排索引Ω;

(3)数据与索引加密:利用本地密钥key对倒排索引Ω和文档数据集D本地加密,得到密文数据Enkey(D)和密文索引Enkey(Ω)后上传至服务器端;

(4)密文索引切分与分发:计算索引切分标准,切分词典和倒排文件;分发子索引;

步骤(4)中具体方法如下:

(2‑1)计算索引切分标准:

在k个节点的分布式系统中,依据倒排索引中包含的倒排项p的总数量确定索引切分标准,计算公式如下:

分布式服务器节点S={S1,S2,S3,…,Sk}中每一个分布式节点Sm都会管理着均等数量的倒排项集合SLoad(Sm);

其中,k是分布式系统中节点的数量,|Pi|是第i个倒排列表中倒排项的数量, 是倒排索引中全部倒排项数量;S是分布式系统的节点集合,Sk是第k个分布式节点,SLoad(Sm)是第m个分布式节点管理的倒排项的数量;

(2‑2)切分词典:

依据关键词的有序编号和对应倒排列表中倒排项的数量,以为SLoad(Sm)标准,把词典中的关键词顺序切分成个k集合;

切分公式如下

其中,i表示关键词的编号,m1表示切分后第一个子索引中关键词集合最大编号,同理mk‑1表示第k‑1个子索引中关键词集合最大编号,n表示第k个子索引关键词集合最大编号,也是所有关键词中最大编号,ti<df>表示关键词ti相关的文档数量,即等价于对应倒排列表中的倒排项的数量;

(2‑3)倒排文件:

依据步骤(2‑2)中对词典关键词的切分标准和关键词ti与倒排列表Pi的映射关系,可得知倒排文件的切分标准;

(2‑4)分发子索引:对索引切分得到的k个子索引{Ω1,Ω2,Ω3,…,Ωk},按照切分的顺序分发到分布式节点;其中,Ωk表示发送至第k个节点的子索引文件;

(5)子索引匹配:用户端输入检索关键词q,多个检索词构成检索词集合;利用本地密钥key对检索关键词q加密,生成密文检索词,记为td=Enkey(q),并且将密文检索词集合封装成检索请求Q,发送至服务器端;所述服务器端收到检索请求Q,对所述检索请求Q中的每一个密文检索词td与子索引词典文件进行匹配,确定包含检索关键词q的子索引文件;确定好各个检索关键词q所属的子索引文件后,将这些检索关键词q切分成多个检索词子集;服务器将每一个检索词子集封装成子检索请求Qi;子检索请求Qi与子索引文件相对应,服务器将子检索请求Qi分发至对应子索引的计算节点;

(6)关键词检索:各主机在自身管理的子索引文件上独立的进行检索操作,得到检索结果集Ri;将所述检索结果Ri回送至服务器;

(7)结果集合并:所述服务器接收到各计算平台主机发来的检索结果集Ri,对所述检索结果集Ri取交集操作,得到用户检索请求Q的最终结果集R;并将所述最终结果集R返回给检索用户;

(8)数据解密:用户接收到服务器回传的密文数据后利用本地密钥key进行解密Dekey(R),获得明文的检索结果集。

2.根据权利要求1所述的云环境下分布式密文索引切片检索方法,其特征在于,步骤(1)中,所述文档数据集D={d1,d2,d3,…,di}是用户的文档数据集合,di是第i篇文档。

3.根据权利要求1所述的云环境下分布式密文索引切片检索方法,其特征在于,步骤(2)中,所述关键词词典T、倒排列表文件L和倒排索引Ω具体的构建方法如下:(1‑1)构建词典T:

相同term的token子集合构成一个关键词t=<termId,term,df,po int er>;

其中,记termId为关键词编号,df是包含term的文档数量,其大小等于对应term的token子集中的词项数量,pointer是指向对应倒排列表的指针;

所有的关键词构成词典T={t1,t2,t3,t4,…,tn};其中,tn表示第n个关键词,同时n也代表了该关键词的有序编号termId;

(1‑2)构建倒排列表文件L:

依据token词项的docId和tf构建关键词的倒排项p=<docId,tf>;相同term的token子集合构成对应倒排项集合,根据docId从小到大排序,得到倒排列表Pi={pi1,pi2,…,pij};所有的倒排列表组合成倒排列表文件L={P1,P2,P3,…,Pn};

其中,p表示倒排项,docId是文档编号,tf是对应term在文档中出现的频率;Pi是对应于关键词ti的倒排列表,pij是倒排列表Pi中的第j倒排项,L是倒排列表文件,是所有倒排列表的集合;

(1‑3)构建倒排索引:

关键词ti与倒排列表Pi一一对应,通过建立词典T和倒排列表L之间的映射关系,构建文档的倒排索引Ω。

4.根据权利要求3所述的云环境下分布式密文索引切片检索方法,其特征在于,步骤(5)中,所述检索请求Q={td1,td2,td3,…,tdi},tdi表示检索请求中第i个密文检索关键词,所述密文检索关键词tdi=Enkey(qi);

Q=Q1∪Q2∪…∪Qi 1<=i<=k      (3)其中,Qi表示对检索关键词切分后封装成的第i个子检索请求。

5.根据权利要求1所述的云环境下分布式密文索引切片检索方法,其特征在于,步骤(6)中,所述检索结果集Ri

Ri=Search(Qi,Enkey(Ωi))         (4)。

6.根据权利要求1所述的云环境下分布式密文索引切片检索方法,其特征在于,步骤(7)中,所述最终结果集R=Search(Q,Enkey(Ω))=R1∩R2∩…∩Rk    (5)其中,Rk表示第k个分布式节点的检索结果集。