[發(fā)明專利]密文全文檢索系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201010187384.4
• 申請(qǐng)日: 2010-05-31
• 公開（公告）號(hào): CN101859323A
• 公開（公告）日: 2010-10-13
• 發(fā)明（設(shè)計(jì)）人: 霍林;黃保華;胡和平;覃海生;黃俊文;王力;潘英花;李瑞軒;李德順;譚穎璐;邢霄;鄒先澤
• 申請(qǐng)（專利權(quán)）人: 廣西大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 廣西南寧匯博專利代理有限公司 45114
• 代理人: 黃萍

技術(shù)領(lǐng)域

本發(fā)明屬于信息檢索和信息安全領(lǐng)域，具體涉及了一種密文全文檢索系統(tǒng)及一種基于動(dòng)態(tài)后繼樹索引結(jié)構(gòu)的密文全文檢索系統(tǒng)。

背景技術(shù)

隨著計(jì)算機(jī)和通信等信息技術(shù)的迅猛發(fā)展，電子媒體等各種應(yīng)用激增，傳統(tǒng)行業(yè)信息化也快速展開，工業(yè)和科研數(shù)據(jù)自動(dòng)化和半自動(dòng)化的產(chǎn)生，使得各種數(shù)據(jù)大量累積；另一方面存儲(chǔ)技術(shù)發(fā)展的日新月異也使得數(shù)據(jù)總量的增長(zhǎng)勢(shì)頭越來越猛。據(jù)統(tǒng)計(jì)，二十世紀(jì)八十年代以來全世界信息總量以指數(shù)級(jí)增長(zhǎng)。可以說，如今信息產(chǎn)生的速度遠(yuǎn)遠(yuǎn)大于人類對(duì)這些信息進(jìn)行充分消化的速度。人們對(duì)問題進(jìn)行有效決策所需要的信息量也大為增加，這就使得用戶在海量數(shù)據(jù)面前想找到自己滿意的信息變得越來越困難。在這樣的背景下，如果不借助于有效的檢索機(jī)制，信息量過大所產(chǎn)生的效果與無信息可查的效果是一樣的。

全文信息檢索技術(shù)最早產(chǎn)生于20世紀(jì)50年代的美國(guó)。1950年Calvin?N.Mooers首創(chuàng)了信息檢索這個(gè)術(shù)語，1958年Luhn提出了統(tǒng)計(jì)信息檢索的基本理論和方法，1960年Marson和Kuhns提出了信息檢索的概率模型，1986年Gerard創(chuàng)立了信息檢索向量空間模型，1968年Rocchio和Salton共同提出了查詢擴(kuò)展的方法，1972年Lockheed公司推出的DIALOG系統(tǒng)是世界首例商用在線信息查詢服務(wù)系統(tǒng)。從上個(gè)世紀(jì)90年代開始，隨著廉價(jià)海量數(shù)據(jù)存儲(chǔ)設(shè)備的成功研發(fā)，特別是國(guó)際互聯(lián)網(wǎng)技術(shù)的誕生和隨之而來的網(wǎng)絡(luò)信息的爆炸式增長(zhǎng)，使信息檢索技術(shù)進(jìn)入了一個(gè)嶄新的發(fā)展時(shí)期。在這一時(shí)期，具有代表性的理論成果包括潛在語義索引技術(shù)，貝葉斯網(wǎng)絡(luò)和神經(jīng)網(wǎng)技術(shù)。

全文檢索技術(shù)已發(fā)展得較為成熟，國(guó)外的全文檢索軟件已較早地得到了應(yīng)用。雖然中西文全文檢索的原理是一致的，但中文本身的特點(diǎn)使得中文全文檢索系統(tǒng)要比西文的復(fù)雜。國(guó)內(nèi)全文檢索技術(shù)的研究開始于1987年左右，目前在國(guó)內(nèi)市場(chǎng)占有率超過90％、具有代表性的全文檢索系統(tǒng)如易北寶信公司開發(fā)的TRS，支持概念檢索、多媒體數(shù)據(jù)檢索和原格式文件檢索，支持海量存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)處理，并提供WWW的數(shù)據(jù)庫(kù)接口。

索引模型是信息檢索的核心技術(shù)，對(duì)信息檢索系統(tǒng)待處理的數(shù)據(jù)進(jìn)行高效的組織是進(jìn)行信息檢索的必要前提，索引存儲(chǔ)結(jié)構(gòu)影響系統(tǒng)的檢索速度和存儲(chǔ)空間。當(dāng)前主要索引模型有：簽名文件、倒排文件、位圖、Pat樹、Pat數(shù)組和互關(guān)聯(lián)后繼樹等。前三種索引模型實(shí)質(zhì)上都是把文檔看成索引項(xiàng)的集合，索引數(shù)據(jù)必須具有文檔-索引項(xiàng)結(jié)構(gòu)，因而難以實(shí)現(xiàn)復(fù)雜查詢。Pat樹和Pat數(shù)組將索引數(shù)據(jù)看成一組半無限串的疊加，能實(shí)現(xiàn)復(fù)雜查詢，但存在空間開銷大等缺點(diǎn)?；リP(guān)聯(lián)后繼樹模型是處理中文等半無限字符串的一種新穎的索引模型，它創(chuàng)建效率高、查詢速度快，與Pat樹一樣具有查詢功能全的特點(diǎn)以及比Pat樹小的膨脹比等系列優(yōu)點(diǎn)，但是也存在存儲(chǔ)結(jié)構(gòu)、動(dòng)態(tài)索引更新等方面的不足。

目前國(guó)內(nèi)外在基于密文的全文檢索領(lǐng)域只有少量研究，通過各著名的大型數(shù)據(jù)庫(kù)和搜索引擎檢索得到的結(jié)果中，在中文的密文全文檢索領(lǐng)域，只查到由中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)研究中心的李新在中國(guó)的發(fā)明專利申請(qǐng)《密文全文檢索技術(shù)》(申請(qǐng)?zhí)枮?!-- SIPO -->200410070113.5)和華中科技大學(xué)在中國(guó)的發(fā)明專利申請(qǐng)《分布式密文全文檢索系統(tǒng)》(申請(qǐng)?zhí)枮?00910062129.4)等相關(guān)研究成果發(fā)表。前者的發(fā)明是對(duì)全文檢索技術(shù)的改造，幾乎保留了全文檢索的大部分技術(shù)，只對(duì)索引文件的索引詞進(jìn)行加密處理；后者實(shí)現(xiàn)了在密文條件下的全文信息檢索，保證了敏感數(shù)據(jù)的安全檢索，具有安全性強(qiáng)，執(zhí)行效率高的特點(diǎn)，其索引文件為倒排文件，但不能進(jìn)行密文子串查詢及潛在的分詞查詢，而且不能進(jìn)行密文動(dòng)態(tài)更新。

新興起的對(duì)等網(wǎng)絡(luò)(Peer-to-Peer，P2P)被認(rèn)為是一種有著更高效、更負(fù)載均衡和更好容錯(cuò)性優(yōu)點(diǎn)的網(wǎng)絡(luò)，通過P2P網(wǎng)絡(luò)，大量的計(jì)算機(jī)可組織在一起形成一個(gè)高性能、高可靠性、高擴(kuò)展性和低消耗的運(yùn)算整體。由于P2P存儲(chǔ)系統(tǒng)面臨節(jié)點(diǎn)異構(gòu)性、節(jié)點(diǎn)自私性、節(jié)點(diǎn)安全性及節(jié)點(diǎn)時(shí)效性等諸多問題，多數(shù)研究集中于搜索和定位機(jī)制，忽略了復(fù)制機(jī)制。在這種網(wǎng)絡(luò)環(huán)境下進(jìn)行中文全文檢索和中文密文全文檢索，引入索引文件副本復(fù)制機(jī)制，是提高檢索效率，降低網(wǎng)絡(luò)消耗和實(shí)現(xiàn)分布式節(jié)點(diǎn)負(fù)載均衡的有效途徑。

發(fā)明內(nèi)容

本發(fā)明的目的之一，在于提供一種數(shù)據(jù)安全性高、索引創(chuàng)建速度快、數(shù)據(jù)檢索效率高的密文全文檢索系統(tǒng)。

本發(fā)明的另一目的，還在于在上述密文全文檢索系統(tǒng)的基礎(chǔ)上，提供一種基于動(dòng)態(tài)后繼樹索引結(jié)構(gòu)的密文全文檢索系統(tǒng)及其創(chuàng)建、檢索方法，該系統(tǒng)支持索引的動(dòng)態(tài)更新，并可以實(shí)現(xiàn)密文子串查詢。

具體技術(shù)方案如下：