[發明專利]HBase中數據的處理方法和處理裝置

在審

• 申請號: 201710037558.0
• 申請日: 2017-01-19
• 公開（公告）號: CN108334506A
• 公開（公告）日: 2018-07-27
• 發明（設計）人: 苑曉龍
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

1.一種HBase中數據的處理方法，其特征在于，包括：

獲取HBase中定義的列簇；

解析所述列簇與JDO類之間的映射關系；

根據所述映射關系調用所述HBase提供的應用程序編程接口；

通過所述應用程序編程接口創建所述HBase的數據表；

生成將所述數據表映射到Hive數據倉庫的表格的腳本，以使所述Hive數據倉庫的SQL引擎通過所述腳本來查詢所述HBase中的數據。

2.根據權利要求1所述的HBase中數據的處理方法，其特征在于，還包括：

通過所述應用程序編程接口讀取所述HBase中的數據，根據所述映射關系將讀取到的所述HBase中的數據轉化成所述JDO類的實例；或者

根據所述映射關系將所述JDO類的實例持久化到所述HBase中。

3.根據權利要求1所述的HBase中數據的處理方法，其特征在于，還包括：

在所述SQL引擎查詢所述HBase中的數據之后，將SQL引擎查詢到的數據進行匯總分析；

將匯總分析后的數據發送給終端，以供所述終端對所述匯總分析后的數據再次進行匯總分析。

4.根據權利要求3所述的HBase中數據的處理方法，其特征在于，

調用所述HBase的協處理器來對所述SQL引擎查詢到的數據進行匯總分析。

5.根據權利要求1至4中任一項所述的HBase中數據的處理方法，其特征在于，所述獲取HBase中定義的列簇，具體包括：

解析所述JDO類的實例中定義的注解標識，來獲取所述列簇。

6.一種HBase中數據的處理裝置，其特征在于，包括：

獲取單元，用于獲取HBase中定義的列簇；

解析單元，用于解析所述列簇與JDO類之間的映射關系；

調用單元，用于根據所述映射關系調用所述HBase提供的應用程序編程接口；

創建單元，用于通過所述應用程序編程接口創建所述HBase的數據表；

生成單元，用于生成將所述數據表映射到Hive數據倉庫的表格的腳本，以使所述Hive數據倉庫的SQL引擎通過所述腳本來查詢所述HBase中的數據。

7.根據權利要求6所述的HBase中數據的處理裝置，其特征在于，還包括：

轉化單元，用于通過所述應用程序編程接口讀取所述HBase中的數據，根據所述映射關系將讀取到的所述HBase中的數據轉化成所述JDO類的實例；或者

持久化單元，用于根據所述映射關系將所述JDO類的實例持久化到所述HBase中。

8.根據權利要求6所述的HBase中數據的處理裝置，其特征在于，還包括：

匯總分析單元，用于在所述SQL引擎查詢所述HBase中的數據之后，將所述SQL引擎查詢到的數據進行匯總分析；

發送單元，用于將匯總分析后的數據發送給終端，以供所述終端對所述匯總分析后的數據再次進行匯總分析。

9.根據權利要求8所述的HBase中數據的處理裝置，其特征在于，

所述匯總分析單元具體用于，調用所述HBase的協處理器來對所述SQL引擎查詢到的數據進行匯總分析。

10.根據權利要求6至9中任一項所述的HBase中數據的處理裝置，其特征在于，所述獲取單元具體用于，

解析所述JDO類的實例中定義的注解標識，來獲取所述列簇。