[發明專利]數據檢索方法及裝置

有效

• 申請號: 201010588551.6
• 申請日: 2010-12-14
• 公開（公告）號: CN102024047A
• 公開（公告）日: 2011-04-20
• 發明（設計）人: 石柱國;余孟春;謝清祿;王堃;陳新賓
• 申請（專利權）人: 青島普加智能信息有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

技術領域

本發明涉及一種數據處理方法及裝置，尤其涉及一種數據檢索方法及裝置。

背景技術

全文檢索是極為常用的一種通過網絡獲取所需信息的方式。全文檢索一般是利用到排索引技術實現檢索，每進行一次查詢，都需要根據檢索的關鍵詞來尋找對應的文檔，并根據搜索表達式進行一系列運算，這些操作都會產生一定的I/O消耗和CPU消耗，并且單次查詢的資源消耗與多次查詢的資源消耗是直接相關的。隨著網絡訪問量的增大，這種資源消耗將直接影響網絡搜索系統的承載量，即單次查詢的資源消耗越小，網絡搜索系統的承載量越大。當整個網絡系統需面對每天數千萬次、甚至是上億次的訪問時，查詢效率和資源消耗對于整個網絡搜索系統的硬件資源消耗、響應速度及承載量起著至關重要的作用。

發明內容

本發明提供一種數據檢索方法及裝置，用以實現高檢索效率、低資源消耗的數據檢索。

本發明提供的數據檢索方法，包括：獲取用戶輸入的檢索關鍵詞，根據所述檢索關鍵詞查詢詞語索引模塊，以獲取所述詞語索引模塊中預置的與所述檢索關鍵詞對應的詞語標識信息；

根據所述詞語標識信息查詢反向索引模塊，以獲取所述反向索引模塊中預置的與所述詞語標識信息對應的壓縮存儲的文檔信息；

對所述文檔信息進行解壓縮，以獲取與所述檢索關鍵詞相關的文檔的文檔標識信息；

根據所述檢索關鍵詞和所述文檔標識信息查詢詞語位置索引模塊，以獲取所述檢索關鍵詞在所述文檔標識信息對應的文檔中的位置信息；

根據所述文檔標識信息及所述位置信息顯示所述文檔。

本發明提供的數據檢索裝置，包括獲取模塊、詞語索引模塊、反向索引模塊、詞語位置索引模塊和顯示模塊，其中：

所述獲取模塊與所述詞語索引模塊、反向索引模塊、詞語位置索引模塊和顯示模塊連接，用于獲取用戶輸入的檢索關鍵詞，根據所述檢索關鍵詞查詢詞語索引模塊，以獲取所述詞語索引模塊中預置的與所述檢索關鍵詞對應的詞語標識信息；

根據所述詞語標識信息查詢反向索引模塊，以獲取所述反向索引模塊中預置的與所述詞語標識信息對應的壓縮存儲的文檔信息；

對所述文檔信息進行解壓縮，以獲取與所述檢索關鍵詞相關的文檔的文檔標識信息；

根據所述檢索關鍵詞和所述文檔標識信息查詢詞語位置索引模塊，以獲取所述檢索關鍵詞在所述文檔標識信息對應的文檔中的位置信息；

將對應于所述文檔標識信息的所述文檔及所述信息參數發送給所述顯示模塊，以根據所述文檔標識信息及所述位置信息顯示所述文檔。

本發明的數據檢索方法及裝置，由于通過查詢到對應于檢索關鍵詞的詞語標識信息，并進一步通過該詞語標識信息從反向索引模塊中查詢到對應的文檔信息，從而僅對該部分文檔信息進行解壓縮，即可獲取實現該檢索所需文檔標識信息。既能夠節約存儲空間，又能夠極大地縮短處理時間，從而提高檢索效率。

附圖說明

圖1為本發明數據檢索方法的流程圖。

圖2為本發明數據檢索方法中采用分組壓縮方式進行數據壓縮的示意圖。

圖3為本發明數據檢索裝置的結構示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖，對本發明的技術方案進行清楚、完整地描述。

圖1為本發明數據檢索方法的流程圖。如圖1所示，該數據檢索方法包括：

步驟S100，獲取用戶輸入的檢索關鍵詞，根據檢索關鍵詞查詢詞語索引模塊，以獲取詞語索引模塊中預置的與檢索關鍵詞對應的詞語標識信息；

其中，詞語索引模塊中存儲有預置的詞語列表，包括詞語的循環冗余校驗(CRC)值，詞語標識信息，與各詞語相關的文檔數量及該詞語在所有文檔中出現的總次數信息。該詞語索引模塊中存儲的文件以.pji作為文件擴展名。

步驟S200，根據詞語標識信息查詢反向索引模塊，以獲取反向索引模塊中預置的與詞語標識信息對應的壓縮存儲的文檔信息；

其中，反向索引模塊中存儲有對應于詞語索引模塊中各詞語的反向索引數據，其包括與各詞語相關的文檔標識信息(例如包括文檔ID，文檔的作者及文檔的分類信息等)，該詞語在該文檔中所屬字段(例如，該詞語包括在該文檔的標題、摘要或正文等，該所屬字段是用四個字節的bit位表示該詞語出現在哪個字段，第N個bit位表示該關鍵詞是否出現在第N個字段，故該所屬字段可用于表示32個字段的信息)，以及該詞語在該文檔中所出現的次數(保存該次數能夠避免重復計算，以提高性能和檢索速度)。該反向索引模塊中存儲的文件以.pjd作為文件擴展名。