[發明專利]一種用于大數據環境下可支持多格式特性的數據空間檢索方法

有效

• 申請號: 201410125840.0
• 申請日: 2014-03-31
• 公開（公告）號: CN103902699B
• 公開（公告）日: 2017-04-12
• 發明（設計）人: 周連科;王洪濱;王念濱;祝官文
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種用于大數據環境下可支持多格式特性的數據空間檢索方法。

背景技術

數據空間數據具有多樣化特征，它包含結構化、半結構化和非結構化數據，如關系元祖、XML、Word文檔、Email、視頻、音頻等數據，這種特征導致迫切需要一種支持多種類型的查詢方式，因此其索引技術就顯得尤為關鍵。一方面，與搜索引擎和傳統數據集成技術不同的是，數據空間索引技術需索引多種類型數據，而不是為每種類型建立一種索引；另一方面，與傳統搜索引擎、XML引擎、數據庫查詢不同的是，不再是側重于某種類型數據的查詢，而是靈活地支持多種不同程度結構的查詢，如關鍵詞查詢、謂詞查詢、路徑查詢等。

隨著互聯網的飛速發展，數據信息呈現爆炸式增長，每年至少上億TB的新數據產生，面對這種大數據環境，其索引效率的高低，直接決定數據空間數據查詢的性能好壞，因此，數據空間數據的索引效率十分關鍵。目前數據空間索引技術主要有Hybrid-ATIL索引、圖索引、全文索引+副本，盡管這些索引技術很好地索引了多種類型數據，但是它們難以解決大數據環境下的數據空間索引連接效率低下的問題。針對該問題，本發明利用多級索引思想，設計出了一種針對大數據環境下的數據空間高效索引技術，從而提高查詢性能。

發明內容

本發明的目的在于提供一種支持多種查詢方式及索引多格式數據，能夠減少大量連接操作的、高效的用于大數據環境下可支持多格式特性的數據空間檢索方法。

本發明的目的是這樣實現的：

一種用于大數據環境下可支持多格式特性的數據空間檢索方法，包括：

1）用戶輸入查詢內容；

2）判斷用戶查詢類型，如果為關鍵詞查詢為關鍵詞，則執行步驟3）；如果為謂詞查詢Q＝(v,{k_i})，v為屬性，k_i為關鍵詞，則轉到步驟5）；如果為路徑查詢Q＝k1/..../k_i/...’/’表示層次路徑，則轉到步驟7）；

3）采用前綴掃描方式讀取所建立的多級索引，獲取k_i*，k_i*表示以關鍵詞ki開始索引項，開頭對應的鏈表結果分別記為表示索引中第j個包含k_i索引項所對應的文檔列表，即posting；如果查詢類型為關鍵詞查詢，則轉到步驟4）；如果查詢類型為路徑查詢，則轉到步驟7）；

4）進行鏈表合并操作，即先對所有k_i開頭的索引項對應的posting進行并操作，對所有關鍵詞ki并后的結果進行交操作，同時出現所有關鍵詞的文檔列表；

5）查詢重寫為{k_i//v}；

6）遍歷步驟1）所建立的多級索引，獲取k_i//v對應的項，記為Lk_i//v表示索引項中k_i//v對應posting，L表示在屬性中同時出現多個關鍵詞ki的所有文檔列表；

7）將k₁到k_n逆序壓入棧中；

8）首先彈出棧頂中兩個元素，記為k₁和k₂；

9）讀取步驟1）所建立的多級索引，獲取k₁的B-樹索引和k₂的H索引，分別記為關鍵詞k₁對應資源視圖編號為元素構成的的B樹索引和關鍵詞k₂對應的H索引；

10）根據索引鏈表右連接方案，連接和結果記為生成的臨時B樹，初始為空，即對中每個主鍵來說，如果在中能夠發現，則把對應項C＝{c_i}中所有元素插入到B_temp中；

11）如果棧不為空，則轉到步驟12）；否則，轉到步驟14）中；

12）彈出棧頂元素k_i，讀取步驟1）所建立的多級索引，獲取k_i的H索引，記為按照步驟10）方法連接和B_temp，結果記為

13）轉到步驟11）；

14）遍歷B_temp或者L，輸出滿足條件的所有元素。

步驟3）所建立的多級索引的構建過程包括下述步驟：

A、在大數據環境下對數據空間構建多級索引；所述構建內容包括采用擴展倒排索引的主索引的構建與采用B-樹與二級索引相結合的輔助索引的構建；擴展倒排索引負責支持大數據的關鍵詞查詢、謂詞查詢；B-樹索引和二級索引則負責支持大數據的路徑查詢；