[發明專利]HBase中數據的處理方法和處理裝置

在審

• 申請號: 201710037558.0
• 申請日: 2017-01-19
• 公開（公告）號: CN108334506A
• 公開（公告）日: 2018-07-27
• 發明（設計）人: 苑曉龍
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

本發明提出了一種HBase中數據的處理方法和處理裝置，其中，該HBase中數據的處理方法包括：獲取HBase中定義的列簇；解析列簇與JDO類之間的映射關系；根據映射關系調用HBase提供的應用程序編程接口；通過應用程序編程接口創建HBase的數據表；生成將數據表映射到Hive數據倉庫的表格的腳本，以使Hive數據倉庫的SQL引擎通過腳本來查詢HBase中的數據。通過本發明的技術方案，可以提升API操作HBase中數據的易用性，降低出錯率和提高開發人員的編碼效率。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種HBase中數據的處理方法和一種HBase中數據的處理裝置。

背景技術

HBase是一個高可靠性、高性能、可伸縮、分布式、面向列的開源數據庫。數據是以列簇(Column Family)為單位存儲在Hadoop的HDFS中。官方提供的Java API(ApplicationProgramming Interface，應用程序編程接口)操作HBase中數據一般主要包括以下方面：

(1)指定每個Qualifier(列名)的Column Family，多數表格中存在多個ColumnFamily。

(2)每個Qualifier的值都寫入時轉換成二進制。

(3)每個Qualifier的值取出為二進制需要轉換為需要的類型(String、Integer等)。

(4)Row Key(行鍵)設計后需要較為嚴格的遵守組成規則。

但是，官方提供的API操作HBase中數據的易用性較差，出錯概率大，開發人員編碼效率較低。

因此，如何提升API操作HBase中數據的易用性，減少出錯率，提高開發人員的編碼效率成為亟待解決的技術問題。

發明內容

本發明正是基于上述問題，提出了一種新的技術方案，可以解決API操作HBase中數據的易用性較差、出錯率大和開發人員的編碼效率低的技術問題。

有鑒于此，本發明的第一方面提出了一種HBase中數據的處理方法，包括：獲取HBase中定義的列簇；解析所述列簇與JDO(Java Data Object，Java數據對象)類之間的映射關系；根據所述映射關系調用所述HBase提供的應用程序編程接口；通過所述應用程序編程接口創建所述HBase的數據表；生成將所述數據表映射到Hive數據倉庫的表格的腳本，以使所述Hive數據倉庫的SQL(Structured Query Language，結構化查詢語言)引擎通過所述腳本來查詢所述HBase中的數據。

在該技術方案中，根據列簇與JDO類之間的映射關系來調用HBase提供的應用程序編程接口，可以提高應用程序編程接口的易用性，提高開發人員的編碼效率和降低出錯率。另外，通過生成將數據表映射到Hive數據倉庫的表格的腳本，即可使用Hive數據倉庫的SQL引擎查詢HBase中的數據，避免了一些Map-Reduce任務的編寫工作，從而提高項目的開發效率。

在上述技術方案中，優選地，還包括：通過所述應用程序編程接口讀取所述HBase中的數據，根據所述映射關系將讀取到的所述HBase中的數據轉化成所述JDO類的實例；或者根據所述映射關系將所述JDO類的實例持久化到所述HBase中。

在該技術方案中，根據映射關系可以實現JDO對象(JDO類的實例即為JDO對象)與HBase中數據的相互讀取和轉化，進一步地提高了應用程序編程接口操作HBase中數據的易用性。

在上述任一技術方案中，優選地，還包括：在所述SQL引擎查詢所述HBase中的數據之后，將SQL引擎查詢到的數據進行匯總分析；將匯總分析后的數據發送給終端，以供所述終端對所述匯總分析后的數據再次進行匯總分析。