[發明專利]用于存儲和查詢數據的方法和系統

在審

• 申請號: 201410231415.X
• 申請日: 2014-05-28
• 公開（公告）號: CN105159895A
• 公開（公告）日: 2015-12-16
• 發明（設計）人: 徐曉旻;陳垚亮;陳曉艷;黃勝;劉凱;陸薇
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

技術領域

本發明的實施例一般地涉及數據庫領域，并且更具體地，涉及用于存儲和查詢數據的方法和系統。

背景技術

數據(特別是海量數據)的存儲和查詢始終是數據庫領域的一個重要問題。近年來，隨著科學計算等相關領域中的發展，這個問題變得尤為突出。作為示例，各類衛星可以拍攝地球或者其他目標物體的一個或多個區域的圖像，以用于科學研究、遙感測繪、氣象預報等各種目的。衛星圖像數據具有相當可觀的數據量，并且可能在一段時間內被連續地捕獲和存儲。而且，此類數據通常與不同的維度(dimension)相關聯。例如，一幅衛星圖像的數據至少可以與時間維度和空間維度這二者相關聯。時間維度可以指示該圖像被捕獲的時刻或時段；空間維度可以指示該圖像所包含的地理區域的范圍，例如由經度坐標和維度坐標來限定。

諸如衛星圖像數據的多維數據給數據的存儲和查詢帶來了巨大挑戰。較大的數據量導致數據往往必須被分布地存儲在大量文件中，這增加了維護開銷。而且，對此類數據的查詢通常是多維度查詢。換言之，在數據查詢請求中包含涉及多個不同維度的查詢條件。這增加了數據查詢的難度和復雜性。而且，這種查詢過程通常需要大量的輸入/輸出(I/O)操作，這不可避免地降低了查詢效率，延長了響應延遲。

用于數據存儲和查詢的傳統方案無法有效地存儲和查詢。例如，已知的文件系統無法支持有效的多維查詢，也無法保證I/O效率。基于的“關系-實體”模型的關系數據庫無法有效地存儲多維數據。盡管已經提出了專門用于海量數據(例如，科學陣列數據)的數據庫，然而此類數據庫只能解決數據的存儲問題。多維數據的多維查詢仍然受制于較低的效率。

綜上所述，本領域中一種更加有效的存儲和查詢多維數據的方案。

發明內容

一般地，本發明的實施例提供用于存儲和查詢多維數據的方案。

在一個方面，本發明的實施例提供一種用于存儲數據的技術方案。這方面的一個實施例提供一種用于存儲數據的方法，所述數據至少與第一維度和第二維度相關聯。所述方法包括：至少基于所述第一維度和所述第二維度，創建用于檢索所述數據的數據單元的一級索引；至少基于所述第一維度創建用于檢索所述數據單元中的數據塊的二級索引；以及將所述數據與所述一級索引和所述二級索引相關聯地存儲。

這方面的另一個實施例提供一種用于存儲數據的系統，所述數據至少與第一維度和第二維度相關聯。所述系統包括：一級索引創建單元，被配置為至少基于所述第一維度和所述第二維度，創建用于檢索所述數據的數據單元的一級索引；二級索引創建單元，被配置為至少基于所述第一維度創建用于檢索所述數據單元中的數據塊的二級索引；以及存儲控制單元，被配置為將所述數據與所述一級索引和所述二級索引相關聯地存儲。

在另一方面，本發明的實施例提供一種用于查詢數據的技術方案。這方面的一個實施例提供一種用于查詢數據的方法，所述數據至少與第一維度和第二維度相關聯。所述方法包括：接收針對目標數據的查詢請求，所述查詢請求包括與所述第一維度相關聯的第一查詢條件以及與所述第二維度相關聯的第二查詢條件；基于所述第一查詢條件、所述第二查詢條件和用于所述數據的一級索引，檢索所述數據中包含所述目標數據的目標數據單元，所述一級索引至少基于所述第一維度和所述第二維度被創建以用于檢索所述數據的數據單元；以及基于所述第一查詢條件和所述目標數據單元的二級索引，檢索所述目標數據單元中包含所述目標數據的目標數據塊，所述二級索引至少基于所述第一維度被創建以用于檢索所述數據的所述數據單元中的數據塊。

這方面的另一實施例提供一種用于查詢數據的系統，所述數據至少與第一維度和第二維度相關聯。所述系統包括：查詢接收單元，被配置為接收針對目標數據的查詢請求，所述查詢請求包括與所述第一維度相關聯的第一查詢條件以及與所述第二維度相關聯的第二查詢條件；一級檢索單元，被配置為基于所述第一查詢條件、所述第二查詢條件和用于所述數據的一級索引，檢索所述數據中包含所述目標數據的目標數據單元，所述一級索引至少基于所述第一維度和所述第二維度被創建以用于檢索所述數據的數據單元；以及二級檢索單元，被配置為基于所述第一查詢條件和所述目標數據單元的二級索引，檢索所述目標數據單元中包含所述目標數據的目標數據塊，所述二級索引至少基于所述第一維度被創建以用于檢索所述數據的所述數據單元中的數據塊。