[發(fā)明專利]一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710124754.1
• 申請(qǐng)日: 2017-03-03
• 公開（公告）號(hào): CN106897450A
• 公開（公告）日: 2017-06-27
• 發(fā)明（設(shè)計(jì)）人: 喬晉偉
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南舜源專利事務(wù)所有限公司37205
• 代理人: 張亮

1.一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，包括以下步驟：

步驟1：從數(shù)據(jù)源提取數(shù)據(jù)并以流的方式上傳到HDFS；

步驟2：用編程模型對(duì)數(shù)據(jù)進(jìn)行篩選運(yùn)算和處理，生成HBase的底層數(shù)據(jù)存儲(chǔ)的文件HFile；

步驟3：判斷HBase數(shù)據(jù)庫(kù)中是否有HBase表；若沒有，在HBase數(shù)據(jù)庫(kù)建HBase表，并在建表時(shí)對(duì)所建的HBase表進(jìn)行預(yù)分區(qū)，若有，執(zhí)行步驟4；

步驟4：將文件在HDFS上的位置傳遞給區(qū)域服務(wù)器Region Servers，利用Region Server將數(shù)據(jù)導(dǎo)入到相應(yīng)分區(qū)目錄下，完成與HBase表的關(guān)聯(lián)，實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入。

2.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，步驟2的實(shí)現(xiàn)過程為：用編程模型Map Reduce作業(yè)準(zhǔn)備數(shù)據(jù)，第一個(gè)作業(yè)運(yùn)行業(yè)務(wù)處理邏輯，處理結(jié)果寫入到HDFS上的中間目錄下，第二個(gè)作業(yè)以第一個(gè)作業(yè)的輸出作為輸入，生成HBase的底層數(shù)據(jù)存儲(chǔ)的文件HFile。

3.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，創(chuàng)建表時(shí)對(duì)表進(jìn)行預(yù)分區(qū)，設(shè)置Reduce數(shù)等于分區(qū)數(shù)Region。

4.根據(jù)權(quán)利要求2所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，編程模型Map Reduce作業(yè)使用行鍵作為輸出Key，KeyValue或者Put作為輸出Value類型，當(dāng)導(dǎo)入的數(shù)據(jù)有多列時(shí)使用Put，只有一個(gè)列時(shí)使用KeyValue。

5.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，分區(qū)時(shí)利用每個(gè)分區(qū)的端值startKey、endKey進(jìn)行行鍵區(qū)間劃分。

6.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，根據(jù)對(duì)象的行主鍵確定對(duì)象所述的區(qū)域服務(wù)器。

7.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，數(shù)據(jù)源包括文本文件或其他數(shù)據(jù)庫(kù)。

8.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，建HBase表的同時(shí)建對(duì)應(yīng)的索引表，將HBase表中涉及條件過濾的字段和行鍵在Solr搜索應(yīng)用服務(wù)器中建立索引。

9.根據(jù)權(quán)利要求1所述的一種基于HDFS海量數(shù)據(jù)快速導(dǎo)入HBase的方法，其特征在于，通過Solr的多條件查詢快速獲得符合過濾條件的行鍵值，根據(jù)此行鍵關(guān)聯(lián)HBase表行鍵，在HBase表的Region查找所需數(shù)據(jù)。