[發明專利]基于HBase的數據導入方法和系統

有效

• 申請號: 201410016490.4
• 申請日: 2014-01-14
• 公開（公告）號: CN104778182B
• 公開（公告）日: 2018-03-02
• 發明（設計）人: 鄭壯杰
• 申請（專利權）人: 博雅網絡游戲開發（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州華進聯合專利商標代理有限公司44224
• 代理人: 何平

1.一種基于HBase的數據導入方法，包括以下步驟：

文件名提取線程提取文件壓縮池中新上報文件的文件名，將提取的文件名存放到無讀寫鎖的隊列；

文件處理線程從無讀寫鎖的隊列中獲取文件名，從所述文件壓縮池中提取文件名對應的文件，讀取文件為文件流；

文件處理線程將文件流中的行數據轉換為json對象；

文件處理線程根據json對象構造HBase的Row對象；

存儲線程將構造的Row對象導入HBase中。

2.根據權利要求1所述的基于HBase的數據導入方法，其特征在于，根據json對象構造HBase的Row對象的步驟包括：

根據json對象構造Row對象的行鍵；

將構造的行鍵作為Row對象的主鍵初始化Row對象；

根據json對象構造初始化成功的Row對象的鍵值對。

3.根據權利要求2所述的基于HBase的數據導入方法，其特征在于，所述根據json對象構造Row對象的行鍵的步驟包括：從行鍵構造規則配置文件中讀取json對象中的表名對應的行鍵構造規則；根據讀取的行鍵構造規則以及json對象中的鍵值對構造Row對象的行鍵；

根據json對象構造初始化成功的Row對象的鍵值對的步驟包括：根據json對象中的表名查找對應的列類型配置文件；將json對象中的列值轉換成其對應列名在列類型配置文件中對應的列類型的值；將已轉換為對應列類型的值轉化成字節數組；將列名與對應的列值構成鍵值對保存到初始化成功的Row對象中。

4.根據權利要求1至3其中一項所述的基于HBase的數據導入方法，其特征在于，在所述根據json對象構造HBase的Row對象的步驟之后，所述方法還包括：文件處理線程將構造的Row對象保存到緩存池；

所述存儲線程將構造的Row對象導入HBase中的步驟包括：存儲線程監聽緩存池數據量大小，當緩存池數據量大小達到閾值時，將緩存池中的Row對象導入HBase中，重置緩存池。

5.根據權利要求4所述的基于HBase的數據導入方法，其特征在于，所述方法還包括步驟：

驗證線程校驗HBase返回的寫入結果，若發生寫入錯誤，則記錄錯誤發生的行數據、行數據所在文件的文件名及行數據在文件中的行號。

6.一種基于HBase的數據導入系統，其特征在于，包括以下步驟：

文件名提取模塊，用于提取文件壓縮池中新上報文件的文件名，將提取的文件名存放到無讀寫鎖的隊列；

文件讀取模塊，用于從隊列中獲取文件名，從所述文件壓縮池中提取文件名對應的文件，讀取文件為文件流；

json對象轉換模塊，用于將文件流中的行數據轉換為json對象；

Row對象構造模塊，用于根據json對象構造HBase的Row對象；

數據導入模塊，用于將構造的Row對象導入HBase中；

控制模塊，用于啟動文件名提取線程執行文件名提取模塊，啟動文件處理線程執行文件讀取模塊、json對象轉換模塊和Row對象構造模塊，以及啟動存儲線程執行數據導入模塊。

7.根據權利要求6所述的基于HBase的數據導入系統，其特征在于，所述Row對象構造模塊包括：

行鍵構造模塊，用于根據json對象構造Row對象的行鍵；

Row對象初始化模塊，用于將構造的行鍵作為Row對象的主鍵初始化Row對象；

鍵值對構造模塊，用于根據json對象構造初始化成功的Row對象的鍵值對。

8.根據權利要求7所述的基于HBase的數據導入系統，其特征在于，所述行鍵構造模塊包括：

規則讀取單元，用于從行鍵構造規則配置文件中讀取json對象中的表名對應的行鍵構造規則；

行鍵構造單元，根據讀取的行鍵構造規則以及json對象中的鍵值對構造Row對象的行鍵；

所述鍵值對構造模塊包括：

配置文件查找單元，用于根據json對象中的表名查找對應的列類型配置文件；

列值轉換單元，用于將json對象中的列值轉換成其對應列名在列類型配置文件中對應的列類型的值；

數組生成單元，用于將已轉換為對應列類型的值轉化成字節數組；

鍵值對保存單元，用于將列名與對應的列值構成鍵值對保存到初始化成功的Row對象中。