[發明專利]一種提高基于Hadoop大數據綜合查詢引擎效率的方法及系統

在審

• 申請號: 201811148630.8
• 申請日: 2018-09-29
• 公開（公告）號: CN109446395A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 歐陽濤
• 申請（專利權）人: 上海派博軟件有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 王琛

1.一種提高基于Hadoop大數據綜合查詢引擎效率的方法，包括如下步驟：

(1)在Hadoop分布式服務器集群中對MapReduce、Tez、Spark三種計算引擎進行部署及測試；

(2)通過互聯網與用戶交互，獲取用戶提交的數據查詢任務；

(3)根據任務的具體要求智能選擇MapReduce、Tez或Spark來執行所述數據查詢任務，并將執行后生成的任務結果重新整理匯總給業務端數據庫后通過可視化配置使結果顯示反饋給用戶。

2.根據權利要求1所述的提高基于Hadoop大數據綜合查詢引擎效率的方法，其特征在于：所述步驟(1)的具體實現過程如下：

1.1部署基于Hadoop的大數據分布式服務器集群，服務器中必須包含MapReduce、Tez、Spark三種計算引擎；

1.2分別對MapReduce、Tez、Spark三種計算引擎進行測試，保證各引擎運行狀況正常；

1.3在YARN中增加MapReduce、Tez、Spark各自的調用接口。

3.根據權利要求1所述的提高基于Hadoop大數據綜合查詢引擎效率的方法，其特征在于：所述步驟(3)中對于任務結果延時要求較低、業務已經按照MapReduce設計的且計算量較大的數據查詢任務選擇MapReduce引擎來執行。

4.根據權利要求1所述的提高基于Hadoop大數據綜合查詢引擎效率的方法，其特征在于：所述步驟(3)中對于任務結果延時要求高、業務沒有按照MapReduce設計的且計算量較大的數據查詢任務選擇Spark引擎來執行。

5.根據權利要求1所述的提高基于Hadoop大數據綜合查詢引擎效率的方法，其特征在于：所述步驟(3)中對于任務結果延時要求較高、業務沒有按照MapReduce設計的且計算量較小的數據查詢任務選擇Tez引擎來執行。

6.根據權利要求1所述的提高基于Hadoop大數據綜合查詢引擎效率的方法，其特征在于：所述步驟(3)中當數據查詢任務執行完成后，按照業務需要通過Spark將任務結果整理匯總給業務端數據庫。

7.一種提高基于Hadoop大數據綜合查詢引擎效率的系統，其特征在于，包括：

獲取模塊，用于通過互聯網獲取用戶提交的數據查詢任務；

引擎智選模塊，用于根據任務的具體要求調用YARN中的MapReduce、Tez或Spark接口將任務提交至Hadoop分布式服務器集群中對應的計算引擎來執行；

匯總反饋模塊，用于將執行生成的任務結果重新整理匯總給業務端數據庫；

可視化顯示模塊，用于從業務端數據庫中將任務結果通過可視化配置后顯示反饋給用戶。

8.根據權利要求7所述的提高基于Hadoop大數據綜合查詢引擎效率的系統，其特征在于：所述引擎智選模塊對于任務結果延時要求低即完成所用時間大于2小時的、業務已經按照MapReduce設計的或計算量大即測試數據量大于1.5億條的數據查詢任務選擇MapReduce接口提交執行。

9.根據權利要求7所述的提高基于Hadoop大數據綜合查詢引擎效率的系統，其特征在于：所述引擎智選模塊對于任務結果延時要求高即完成所用時間小于7.406秒的或計算量小即測試數據量小于1500萬條的數據查詢任務選擇Spark接口提交執行。

10.根據權利要求7所述的提高基于Hadoop大數據綜合查詢引擎效率的系統，其特征在于：所述引擎智選模塊對于任務結果延時要求適中即完成所用時間在7.406秒～2小時之間的或計算量適中即測試數據量在1500萬～1.5億之間的數據查詢任務選擇Tez接口提交執行。