[發明專利]一種對分布式順序表進行多維區間查詢的方法及其系統

有效

• 申請號: 201210517589.3
• 申請日: 2012-12-05
• 公開（公告）號: CN103020204B
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 賀曉峰
• 申請（專利權）人: 北京普澤創智數據技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬曉亞

本發明公開了一種對分布式順序表進行多維區間查詢的方法及其系統，其中方法包括：分別為所述分布式順序表的每個索引列創建一張對應的二級索引表，各索引列對應的二級索引表的主鍵為該索引列值、所述分布式順序表的主鍵值和該索引列值的長度三者的拼接值；當接收到區間查詢請求時，依據所述查詢請求的字段名稱，從各所述二級索引表中查找所述字段名稱對應的二級索引表，依據所述查詢請求的字段值，從所述對應的二級索引表中查找所述查詢請求字段值對應的記錄位置，直接從所述分布式順序表中的該記錄位置讀取相應的數據。本發明能大幅增加多維區間查詢的速度，能夠同時滿足高性能、低存儲開銷和高可靠性的要求。

技術領域

本發明涉及分布式信息處理技術領域，尤其涉及一種對分布式順序表進行多維區間查詢的方法及其系統。

背景技術

分布式順序表（Distributed Ordered Table簡稱DOT）是一種最適用于海量數據（TB到PB級）下多維區間查詢的數據庫系統。在分布式順序表上進行多維區間查詢時，通常直接掃描全表篩選出滿足條件的數據。在數據量非常大的時候，這種方法的查詢速度緩慢，并且使系統負載很大，響應時間過長不能滿足目前網絡應用對海量數據進行實時檢索的需求。

發明內容

本發明的主要目的即基于分布式順序表構建索引，使其能夠滿足多維區間查詢時的高性能、低存儲開銷和高可靠性要求。

為達此目的，本發明采用以下技術方案：

本發明提出了一種對分布式順序表進行多維區間查詢的方法，包括：

分別為所述分布式順序表的每個索引列創建一張對應的二級索引表，各索引列對應的二級索引表包括該索引列信息、所述分布式順序表的主鍵信息；

當接收到區間查詢請求時，依據所述查詢請求中查詢條件對應的字段名稱，從各所述二級索引表中查找所述字段名稱對應的二級索引表，依據所述查詢請求的查詢條件，從所述對應的二級索引表中查找符合所述條件的記錄，從各記錄中讀出該記錄對應的主鍵值，依據所述主鍵值直接從所述分布式順序表中讀取相應的數據。

進一步地，各所述二級索引表的主鍵為該二級索引表對應的索引列、所述分布式順序表的主鍵和該索引列的長度三者的拼接值，

或者，各所述二級索引表的主鍵為該二級索引表對應的索引列、所述分布式順序表的主鍵和所述分布式順序表的主鍵的長度三者的拼接值。

進一步地，當接收到區間查詢請求時，首先對所述查詢請求中的查詢條件進行合并去重預處理，將預處理結果轉化為析取式，從合取子式中選擇結果集最小的子查詢作為所述區間查詢請求的查詢條件。

進一步地,所述從合取子式中選擇結果集最小的子查詢的方法包括：分別根據各合取子式中每個分片的起止主鍵，計算各合取子式的查詢范圍所覆蓋的分片數量，選擇分片數量最少的合取子式的結果集。

進一步地，還包括：

當需要進行數據更新時，首先將更新寫入日志中，然后再分別更新所述分布式順序表和索引表；

當出現故障使部分數據丟失，使所述分布式順序表和索引表數據不一致時，依據所述日志進行數據恢復。

根據同一發明構思，本發明還提供了一種對分布式順序表進行多維區間查詢的系統，包括：

索引表建立模塊，用于分別為所述分布式順序表的每個索引列創建一張對應的二級索引表，各索引列對應的二級索引表包括該索引列信息、所述分布式順序表的主鍵信息；

區間查詢模塊，用于當接收到區間查詢請求時，依據所述查詢請求中查詢條件對應的字段名稱，從各所述二級索引表中查找所述字段名稱對應的二級索引表，依據所述查詢請求的查詢條件，從所述對應的二級索引表中查找符合所述條件的記錄，從各記錄中讀出該記錄對應的主鍵值，依據所述主鍵值直接從所述分布式順序表中讀取相應的數據。