[發明專利]一種面向Hbase數據庫的復合查詢方法

有效

• 申請號: 201310139785.6
• 申請日: 2013-04-22
• 公開（公告）號: CN104111955B
• 公開（公告）日: 2018-10-23
• 發明（設計）人: 劉磊;何東杰;王海冰;才華
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 唐立;朱海煜

本發明提供一種面向Hbase數據庫的復合查詢方法，屬于數據查詢技術領域。該復合查詢方法包括建立索引表、索引建立、數據檢索步驟，在建立索引表時，定義索引表的Key和Value；其中，索引表的Key的要素包括M個組合條件的N個，索引表的Value的要素至少包括對應主記錄表的Key，2≤N≤M，M為大于或等于2的整數；在數據檢索步驟中，根據提取N個組合條件生成的第一Key，在索引表中進行主鍵查詢，然后根據主記錄表的Key的要素定義為第二Key，至少在主記錄表中進行主鍵查詢。該方法查詢效率高，尤其適用于海量數據庫的數據查詢。

技術領域

本發明屬于數據查詢技術領域，涉及面向Hbase數據庫的復合查詢方法。

背景技術

近年來，企業IT系統數據量呈爆炸性增長，傳統的數據庫已難以有效管理高達幾十億條記錄甚至更多的數據規模。NoSQL數據庫作為一種新興的數據管理技術，通過簡化數據模型、弱化數據一致性要求而獲得了良好的可擴展性，為管理海量數據提供了一種選擇。HBase數據庫即是目前獲得較廣泛應用的NoSQL數據庫之一，其是一種分布式的、面向列的開源數據庫，它可擴展性好，非常適用于海量數據存儲。

通常地，HBase數據庫的中的每條記錄就是一個簡單的字節數組，具有相對固定的Key-Value（主鍵-鍵值）結構，即每條記錄有唯一的Key（主鍵），其可以作為索引，Key為可變長度的字符串，而所有其他字段均保存在Value（鍵值）中。

因此，HBase數據庫的數據查詢過程中，首先根據查詢條件對Key進行查詢，然后在根據其他每一個查詢條件對每一條記錄的Value進行遍歷方式的查詢。由于Value的內容多，這樣的查詢方式非常耗時，因此，其不支持基于非主鍵進行快速查詢。

以用于存儲用戶刷卡交易記錄的HBase為例，用戶在一個商場基于POS機刷卡交易后將產生一條記錄，該記錄可以包括如下內容：

<卡號、交易時間、交易商戶、交易地區、交易金額>

其中，卡號為信用卡的號碼，商戶為用戶所進行交易的商戶，如商場或飯店。由于在HBase中Key需要保證唯一性，而一個卡號可以產生多條記錄，因此在該記錄存入HBase數據庫時，要將卡號和一個隨機數連接，將其作為Key，將<交易時間、交易商戶、交易地區、交易金額>作為 Value，存入HBase數據庫中。

根據用戶卡號的查詢實現比較簡單，例如，根據用戶卡號查詢某一段時間類的所有交易記錄，則只需要執行如下步驟：

a、創建一個新的Scan（掃描）對象；

b、在Scan對象的Filter（過濾器）選項中設置交易時間過濾規則；

c、執行Scan動作。

以上只是單個條件的查詢，相對來說，其查詢效率還是可以接受的。但是，如果要對Hbase數據庫實現復合查詢，也即除Key之外的多個組合條件的查詢，

例如，同樣對于存儲用戶刷卡交易記錄的HBase數據庫，如果需要查詢滿足諸如如下多個條件的所有記錄：

交易地區：上海，

交易時間： 2012年10月 至 2012年12月，

交易金額：1000元至2000元。

那么，復合查詢的組合條件包括：交易地區、交易時間和交易金額。在實現該復合查詢時，采取暴力方式依次讀取HBase數據庫中的所有記錄，對每一條記錄根據查詢條件和記錄中的Value的值進行比較和過濾。具體步驟為：（1）創建Scan對象；（2）執行Scan動作；（3）對Scan返回的ResultScanner中的每條記錄，根據檢索條件進行過濾，如復合條件則輸出；否則重復執行該動作，直到遍歷ResultScanner中的所有記錄。