[發明專利]一種數據導入HBase數據庫的方法和裝置

有效

• 申請號: 201410346370.0
• 申請日: 2014-07-21
• 公開（公告）號: CN104077420B
• 公開（公告）日: 2017-05-03
• 發明（設計）人: 李勇
• 申請（專利權）人: 北京京東尚科信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 張馳,宋志強

1.一種數據導入HBase數據庫的方法，其特征在于，該方法包括：

利用輸入輸出IO流方式將各種類型的輸入源數據整合為字符串，讀取所述輸入輸出流以獲取預定緩沖區大小的字符串；

將所讀取的字符串轉換為Put對象，根據所述Put對象的行主鍵確定該Put對象所屬的區域服務器；從多張Put對象列表中確定所述Put對象被寫入的選中Put對象列表，以在各個Put對象列表中都均勻分布有多個區域服務器，其中每張Put對象列表中分別包含有待存儲Put對象與所屬區域服務器之間的對應關系；

針對每個Put對象列表分別啟動寫任務，以將所述Put對象列表中待存儲Put對象所對應的數據導入所述待存儲Put對象所屬的區域服務器。

2.根據權利要求1所述的數據導入HBase數據庫的方法，其特征在于，所述利用IO流方式將各種類型的輸入源數據整合為字符串包括下列中的至少一個：

利用IO流方式將文本文件數據整合為字符串；

利用IO流方式將Hadoop分布式文件系統文件整合為字符串；

利用IO流方式將網絡源數據整合為字符串。

3.根據權利要求1所述的數據導入HBase數據庫的方法，其特征在于，所述讀取所述IO流以獲取預定緩沖區大小的字符串包括：

采用while循環的方式讀取所述IO流以獲取預定緩沖區大小的字符串；該方法還包括：當所述while循環終止后，關閉所述IO流。

4.根據權利要求1所述的數據導入HBase數據庫的方法，其特征在于，在將所讀取的字符串轉換為Put對象之前，該方法進一步包括：驗證所讀取的字符串是否符合預先設定的業務預期，如果是，則開始將所讀取的字符串轉換為Put對象；如果不是，則退出本流程。

5.根據權利要求1所述的數據導入HBase數據庫的方法，其特征在于，所述針對每個Put對象列表分別啟動寫任務，以將Put對象列表中待存儲Put對象所對應的數據導入所述待存儲Put對象所屬的區域服務器包括：

當Put對象列表中待存儲Put對象數目達到預先設置的門限值時，啟動對應于該Put對象列表的單獨寫任務，在單獨寫任務中處理所述Put對象列表，以將所述Put對象列表中待存儲Put對象所對應的數據導入所述待存儲Put對象所屬的區域服務器，其中通過線程池維護各個Put對象列表的各自單獨寫任務。

6.根據權利要求1所述的數據導入HBase數據庫的方法，其特征在于，該方法進一步包括：在出現異常時，執行下列操作中的至少一個：打印異常日志；發送報警郵件；發送報警短信。

7.一種數據導入HBase數據庫的裝置，其特征在于，包括輸入流處理模塊、數據處理模塊和批量寫HBase模塊，其中：

輸入流處理模塊，用于利用輸入輸出IO流方式將各種類型的輸入源數據整合為字符串，讀取所述輸入輸出流以獲取預定緩沖區大小的字符串；

數據處理模塊，用于將所讀取的字符串轉換為Put對象，根據所述Put對象的行主鍵確定該Put對象所屬的區域服務器；從多張Put對象列表中確定所述Put對象被寫入的選中Put對象列表，以在各個Put對象列表中都均勻分布有多個區域服務器，其中每張Put對象列表中分別包含有待存儲Put對象與所屬區域服務器之間的對應關系；

批量寫HBase模塊，用于針對每個Put對象列表分別啟動寫任務，以將所述Put對象列表中待存儲Put對象所對應的數據導入所述待存儲Put對象所屬的區域服務器。

8.根據權利要求7所述的數據導入HBase數據庫的裝置，其特征在于，輸入流處理模塊，用于處理下列中的至少一個：

利用IO流方式將文本文件數據整合為字符串；

利用IO流方式將Hadoop分布式文件系統文件整合為字符串；

利用IO流方式將網絡源數據整合為字符串。

9.根據權利要求7所述的數據導入HBase數據庫的裝置，其特征在于，

輸入流處理模塊，用于采用while循環的方式讀取所述IO流以獲取預定緩沖區大小的字符串；還包括：當所述while循環終止后，關閉所述IO流。