[發(fā)明專利]HBase非主鍵索引構(gòu)建與查詢方法及其系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410658614.9
• 申請日: 2014-11-18
• 公開（公告）號: CN104850572B
• 公開（公告）日: 2018-11-23
• 發(fā)明（設(shè)計）人: 董振江;曲文武;黃宜華;葛微
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

1.一種HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，包括：

在Hbase數(shù)據(jù)表上建立全局非主鍵索引；

識別針對非主鍵屬性的查詢，依據(jù)所述全局非主鍵索引定位到分布式內(nèi)存中相應(yīng)的索引節(jié)點，并向含有結(jié)果集的所述索引節(jié)點發(fā)送查詢請求；

所述在Hbase數(shù)據(jù)表上建立全局非主鍵索引包括：

為HBase數(shù)據(jù)表中待建立索引的非主鍵數(shù)據(jù)列定義如下格式的索引表主鍵：

<用戶表索引列名，用戶表索引列值，用戶表主鍵>；

其中，用戶表索引列名是HBase數(shù)據(jù)表中被索引的數(shù)據(jù)列的名稱；用戶表索引列值是HBase數(shù)據(jù)表中被索引的列的值；用戶表主鍵是HBase數(shù)據(jù)表中被索引的記錄的主鍵值；

同時，保存一個索引的值表，用來記錄用戶表索引列中存在的所有值并按序存儲起來；

所述識別針對非主鍵屬性的查詢，依據(jù)所述全局非主鍵索引定位到分布式內(nèi)存中相應(yīng)的索引節(jié)點，并向含有結(jié)果集的所述索引節(jié)點發(fā)送查詢請求包括：

在進(jìn)行范圍查詢時，訪問所述值表，獲得查詢范圍內(nèi)的所有存在的索引列值；

對范圍內(nèi)存在的索引列值，依次向相應(yīng)的索引節(jié)點發(fā)送單值查詢請求；

匯總查詢結(jié)果，并將匯總后的結(jié)果返回。

2.如權(quán)利要求1所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，在HBase數(shù)據(jù)表上建立全局非主鍵索引，并將其存儲在HBase持久化索引存儲層中。

3.如權(quán)利要求1所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，在分布式內(nèi)存中還存儲熱點非主鍵索引；

在存儲數(shù)據(jù)時，根據(jù)訪問信息標(biāo)記緩存中的熱數(shù)據(jù)，并將熱數(shù)據(jù)緩存到基于內(nèi)存的熱點索引緩存層中。

4.如權(quán)利要求1所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，HBase可以為全局非主鍵索引表維護(hù)全局統(tǒng)一的Region劃分，為全局非主鍵索引表提供可擴展性和容錯性支持。

5.如權(quán)利要求1所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，在全局非主鍵索引表中存儲了HBase數(shù)據(jù)表中被頻繁訪問的列值。

6.如權(quán)利要求1所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，將訪問頻度大于一預(yù)定閾值的的索引數(shù)據(jù)作為熱點數(shù)據(jù)緩存在內(nèi)存中。

7.如權(quán)利要求3所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，熱點非主鍵索引的主鍵格式為：

<用戶表索引列名，用戶表索引列值>；

其中，用戶表索引列名是HBase數(shù)據(jù)表中被索引的數(shù)據(jù)列的名稱；

用戶表索引列值是HBase數(shù)據(jù)表中被索引的列的值。

8.如權(quán)利要求3或6所述的HBase非主鍵索引構(gòu)建與查詢方法，其特征在于，利用一致性哈希來完成熱點數(shù)據(jù)在分布式內(nèi)存中的存儲管理。