[發明專利]基于MapDB構建的HBase數據檢索方法

有效

• 申請號: 201610673258.7
• 申請日: 2016-08-16
• 公開（公告）號: CN106326381B
• 公開（公告）日: 2019-06-25
• 發明（設計）人: 梁猛;李永強;任姣姣
• 申請（專利權）人: 梁猛;李永強;任姣姣
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 袁亞軍;金碎平

本發明公開了一種基于MapDB構建的HBase數據檢索方法，包括如下步驟：a)通過數據接口操作MapDB數據庫進行數據讀寫操作；b)在數據寫入HBase之前，先對數據進行格式化，生成Hbase的RowKey作為一級索引，并對數據分割相應字段，將用于查詢的字段及其對應的RowKey寫入MapDB數據庫中作為二級索引；c)接著再將數據在MapDB數據庫中按照HBase的表及列進行分類存儲；d)采用二級索引查詢HBase時，先通過查詢字段在MapDB中獲取對應的RowKey集合，再通過HBase提供的get方法進行數據查詢。本發明能夠方便地采用二級索引查詢Hbase，快速匹配數據，大大提高查詢性能。

技術領域

本發明涉及一種數據庫多字段查詢方法，尤其涉及一種基于MapDB構建的HBase數據檢索方法。

背景技術

HBase是一個分布式的、面向列的開源數據庫，它是利用Hadoop HDFS作為其文件存儲系統。隨著HBase在性能和穩定性持續改善，HBase逐漸成為在大數據NoSQL領域的標準之一。在Hadoop之上提供了類似于Bigtable的能力，是Apache的Hadoop項目的子項目，其不同于一般的關系數據庫而是一個適合于非結構化數據存儲的數據庫，另一個不同之處是HBase是基于列的而不是基于行的模式，以表的形式存儲數據，表由行和列組成，列劃分為若干個列族(row family)，如下表所示。

與nosql數據庫一樣,row key是用來檢索記錄的主鍵。訪問HBase table中的行，只有三種方式：1、通過單個RowKey訪問；2、通過RowKey的range；3、全表掃描。RowKey行鍵(Row key)可以是任意字符串(最大長度是64KB，實際應用中長度一般為10-100bytes)，在HBase內部，row key保存為字節數組。

目前HBase主要應用在結構化和半結構化的大數據存儲上，其在插入和讀取上都具有極高的性能表現，這與它的數據組織方式有著密切的關系，在邏輯上，HBase的表數據按RowKey進行字典排序，RowKey實際上是數據表的一級索引(Primary Index)，由于HBase本身沒有二級索引(Secondary Index)機制，基于索引檢索數據只能單純地依靠RowKey，為了能支持多條件查詢，開發者需要將所有可能作為查詢條件的字段一一拼接到RowKey中，這是HBase開發中極為常見的做法，但是無論怎樣設計，單一RowKey固有的局限性決定了它不可能有效地支持多條件查詢。通常來說，RowKey只能針對條件中含有其首字段的查詢給予令人滿意的性能支持，在查詢其他字段時，表現就差強人意了，在極端情況下某些字段的查詢性能可能會退化為全表掃描的水平，這是因為字段在RowKey中的地位是不等價的，它們在RowKey中的排位決定了它們被檢索時的性能表現，排序越靠前的字段在查詢中越具有優勢，特別是首位字段具有特別的先發優勢，如果查詢中包含首位字段，檢索時就可以通過首位字段的值確定RowKey的前綴部分，從而大幅度地收窄檢索區間，如果不包含則只能在全體數據的RowKey上逐一查找，由此可以想見兩者在性能上的差距。

由上可見，如何在確保非侵入的前提下，以高性能為首要目標，通過建立二級多列索引實現了對復雜條件查詢的支持，成為HBase最受關注的研究方向。

發明內容

本發明所要解決的技術問題是提供一種基于MapDB構建的HBase數據檢索方法，能夠方便地采用二級索引查詢Hbase，快速匹配數據，大大提高查詢性能。