[發明專利]增量分布式索引系統和方法

在審

• 申請號: 201710028299.5
• 申請日: 2017-01-16
• 公開（公告）號: CN106777343A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 張韶峰;陳浪仙;陳賀巍;鄒迎春
• 申請（專利權）人: 百融（北京）金融信息服務股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京立成智業專利代理事務所(普通合伙)11310
• 代理人: 張江涵

1.一種增量分布式索引方法，其特征在于，包括：

步驟1、獲取HBase數據庫中存儲的數據，以及每一數據的一級索引值和屬性值；為每一數據，通過以下方法生成二級索引Key；

{起始Key值}_{原始屬性值}_{原始Key值}；

其中起始Key值是所有數據一級索引值的起始值；原始屬性值是數據的屬性值；原始Key值是所有數據一級索引值；

步驟2、根據每一數據的二級索引Key，生成二級索引表，以在查詢時對二級索引表進行分區域的檢索；其中所述分區域是根據二級索引Key值進行劃分的。

2.根據權利要求1所述的增量分布式索引方法，其特征在于，所述二級索引Key以及二級索引表存儲在HBase數據庫中。

3.根據權利要求1所述的增量分布式索引方法，其特征在于，所述方法種還包括：

步驟3、接收基于sql語言的查詢請求，并對所述基于sql語言的查詢請求生成針對HBase數據庫的二級索引表的查詢條件；根據查詢條件查詢HBase數據庫的二級索引表,返回滿足查詢條件的數據，以使客戶端將HBase各區域的返回數據整理合并輸出。

4.根據權利要求3所述的增量分布式索引方法，其特征在于，所述步驟3具體包括：

步驟31、在接收到查詢時，判斷所述查詢的類型，如果是基于匯總(Count)的導出查詢，則跳轉到步驟2；如果是針對單個分區域(Region)的分頁查詢，則跳轉到步驟N；

步驟32、根據基于匯總的導出查詢的查詢條件，生成針對每一分區域的查詢條件，以使每一分區域根據對應的查詢條件進行查詢；然后將每個分區域返回的數據進行合并后返回，步驟結束；

步驟33、根據針對單個分區域的分頁查詢，確定本次請求的分區域；針對滿足查詢條件的分區域進行查詢，并將查詢結果返回，步驟結束。

5.根據權利要求4所述的增量分布式索引方法，其特征在于，對分區域進行查詢的方法具體為：

步驟a、根據查詢條件以及上次記錄id，重新生成查詢條件，并構建查詢條件語法數；

步驟b、判斷已取得的結果是否小于所需數量，如果是則將查詢結果中所有行關鍵詞對應的原始數據返回，步驟接收；如果否跳轉到步驟c；

步驟c、根據查詢條件語法樹獲取下一行關鍵詞，判斷所述下一行關鍵詞是否為空，如果是則將該下一行關鍵詞添加到檢索結果中，并跳轉到步驟b。

6.一種增量分布式索引系統，其特征在于，包括：

二級索引Key生成模塊，用于獲取HBase數據庫中存儲的數據，以及每一數據的一級索引值和屬性值；為每一數據，通過以下方法生成二級索引Key；

{起始Key值}_{原始屬性值}_{原始Key值}；

其中起始Key值是所有數據一級索引值的起始值；原始屬性值是數據的屬性值；原始Key值是所有數據一級索引值；

二級索引表生成模塊，用于根據每一數據的二級索引Key，生成二級索引表，以在查詢時對二級索引表進行分區域的檢索；其中所述分區域是根據二級索引Key值進行劃分的。

7.根據權利要求6所述的增量分布式索引系統，其特征在于，所述二級索引Key以及二級索引表存儲在HBase數據庫中。

8.根據權利要求6所述的增量分布式索引系統，其特征在于，所述系統還包括：

查詢模塊，用于接收基于sql語言的查詢請求，并對所述基于sql語言的查詢請求生成針對HBase數據庫的二級索引表的查詢條件；根據查詢條件查詢HBase數據庫的二級索引表,返回滿足查詢條件的數據，以使客戶端將HBase各區域的返回數據整理合并輸出。

9.根據權利要求8所述的增量分布式索引系統，其特征在于，所述查詢模塊用于執行以下操作：

步驟31、在接收到查詢時，判斷所述查詢的類型，如果是基于匯總(Count)的導出查詢，則跳轉到步驟2；如果是針對單個分區域(Region)的分頁查詢，則跳轉到步驟N；

步驟32、根據基于匯總的導出查詢的查詢條件，生成針對每一分區域的查詢條件，以使每一分區域根據對應的查詢條件進行查詢；然后將每個分區域返回的數據進行合并后返回，步驟結束；

步驟33、根據針對單個分區域的分頁查詢，確定本次請求的分區域；針對滿足查詢條件的分區域進行查詢，并將查詢結果返回，步驟結束。

10.根據權利要求9所述的增量分布式索引系統，其特征在于，對分區域進行查詢的方法具體為：

步驟a、根據查詢條件以及上次記錄id，重新生成查詢條件，并構建查詢條件語法數；

步驟b、判斷已取得的結果是否小于所需數量，如果是則將查詢結果中所有行關鍵詞對應的原始數據返回，步驟接收；如果否跳轉到步驟c；

步驟c、根據查詢條件語法樹獲取下一行關鍵詞，判斷所述下一行關鍵詞是否為空，如果是則將該下一行關鍵詞添加到檢索結果中，并跳轉到步驟b。