[發明專利]Hive中自制用戶提取信息工具的方法和裝置

在審

• 申請號: 201410483891.0
• 申請日: 2014-09-19
• 公開（公告）號: CN104239532A
• 公開（公告）日: 2014-12-24
• 發明（設計）人: 劉璧怡;郭美思;吳楠
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王丹;李丹

技術領域

本發明涉及數據處理技術領域，尤其涉及一種Hive中自制用戶提取信息工具的方法和裝置。

背景技術

隨著數據海量劇增，單一的計算機已經不能存儲海量數據，因此，分布式集群受到了大家的關注。在分布式集群中，可以將數據分布到多臺計算機中存儲并且可以實現分布式計算。Hadoop是分布式系統基礎架構，用戶可以在不了解分布式底層細節的情況下，開發分布式程序，充分利用廉價計算機集群的威力高速運算和存儲。

Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據表，提供完整的結構化查詢語言(SQL，Structured?Query?Language)查詢功能，可以將SQL語句轉換為MapReduce任務進行運行，也可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，Hive是非常適合數據倉庫的統計分析。

Hive的類SQL語言給數據挖掘工作者帶來了很多便利，海量數據通過簡單的SQL語句就可以完成分析，但Hive提供的函數功能滿足不了用戶的個性化業務需求。

發明內容

為了解決上述技術問題，本發明提供了一種Hive中自制用戶提取信息工具的方法和裝置，能夠提供滿足用戶個性化需求的查詢工具。

為了達到本發明目的，本發明提供了一種Hive中自制用戶提取信息工具的方法，包括：編寫新類，該新類繼承Hive中的用戶自定義函數UDF類；根據用戶自定義需求，在新類中重構evaluate函數，完成Hive中自制用戶提取信息工具；將Hive中自制用戶提取信息工具進行打包，并導入到目標分布式集群中；在Hive客戶端上配置Hive中自制用戶提取信息工具，并使用Hive中自制用戶提取信息工具查詢用戶需要的數據。

進一步地，編寫新類，該新類繼承Hive中的用戶自定義函數UDF類，包括：編寫org.apache.hadoop.hive.ql.UDF，繼承Hive中的UDF類。

進一步地，將該Hive中自制用戶提取信息工具進行打包，并導入到目標分布式集群中，包括：將Hive中自制用戶提取信息工具打包成usr_extract.jar，將usr_extract.jar導入到目標分布式集群中。

進一步地，在Hive客戶端上配置Hive中自制用戶提取信息工具，包括：啟動Hive客戶端，用add?jar/usr/lib/usr_extract.jar命令在Hive客戶端中添加usr_extract.jar；用CREATE?TEMPORARY?FUNCTION?usr_extract?AS‘com.hive.udf.UsrExtract’命令創建臨時函數。

進一步地，使用Hive中自制用戶提取信息工具查詢用戶需要的數據，包括：根據臨時函數，使用select查詢對應的Hive中自制用戶提取信息工具，使用Hive中自制用戶提取信息工具查詢用戶需要的數據。

進一步地，該方法還包括：在用戶查詢結束后，銷毀所述臨時函數。

進一步地，該方法還包括：若在evaluate函數中有重載函數，根據參數個數和/或參數類型調用相應的evaluate查詢用戶需要的數據。

一種Hive中自制用戶提取信息工具的裝置，包括：新類編寫模塊，用于編寫新類，該新類繼承Hive中的UDF類；重構函數模塊，用于根據用戶自定義需求，在新類中重構evaluate函數，完成Hive中自制用戶提取信息工具；

配置模塊，用于將Hive中自制用戶提取信息工具進行打包，并導入到目標分布式集群中，在Hive客戶端上配置Hive中自制用戶提取信息工具；查詢模塊，用于使用Hive中自制用戶提取信息工具查詢用戶需要的數據。

與現有技術相比，本發明包括：編寫新類，該新類繼承Hive中的用戶自定義函數UDF類；根據用戶自定義需求，在新類中重構evaluate函數，完成Hive中自制用戶提取信息工具；將Hive中自制用戶提取信息工具進行打包，并導入到目標分布式集群中；在Hive客戶端上配置Hive中自制用戶提取信息工具，并使用Hive中自制用戶提取信息工具查詢用戶需要的數據。本發明使用Hive中提供的自定義函數UDF開發符合用戶的個性化需求的工具，能夠滿足用戶的個性化查詢，并且能夠在select中使用，增加了用戶查詢的便利性。

附圖說明

圖1是本發明Hive體系的結構示意圖。

圖2是本發明Hive中自制用戶提取信息工具的方法的流程示意圖。