[發明專利]一種分布式系統中海量數據的查詢方法及裝置

有效

• 申請號: 201610221574.0
• 申請日: 2016-04-11
• 公開（公告）號: CN107291770B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 盧山
• 申請（專利權）人: 中國移動通信集團山西有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

1.一種分布式系統中海量數據的查詢方法，其特征在于，所述方法包括：

對收到的查詢請求進行解析，以得到用于表征業務分析需求的語句所生成的執行任務，以獲取所述執行任務中的至少一個操作數據表對應的操作數據表名字、操作的字段名和語句中的查詢條件；

判斷所述執行任務是單表查詢還是多表查詢；當執行所述單表查詢時，根據所述執行任務中的數據文件大小和集群可用內存選擇HIVE查詢引擎或Impala查詢引擎對所述執行任務進行分布式查詢，以生成所述執行任務中用于表征業務分析需求的語句對應的新的執行路徑；

當執行所述多表查詢時，在滿足數據過濾條件的情況下，對包含所述查詢條件的操作數據表進行數據過濾以更新所述至少一個操作數據表，直至不滿足所述數據過濾條件，根據所述執行任務中的數據文件大小和所述集群可用內存選擇所述HIVE查詢引擎或所述Impala查詢引擎對所述執行任務進行分布式查詢，以生成所述執行任務中用于表征業務分析需求的語句對應的新的執行路徑，所述數據過濾條件為所述至少一個數據操作表的數據文件大小總和超過所述集群可用內存。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將查詢請求需要的數據進行分布式存儲。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述執行任務中的每個操作數據表對應的數據文件大小、集群可用內存大小。

4.根據權利要求1所述的方法，其特征在于，所述對收到的查詢請求進行解析，以得到用于表征業務分析需求的語句所生成的執行任務，包括：

將用于表征業務分析需求的語句通過所述HIVE查詢引擎對應的HIVE算法進行解析，分析生成的所述執行任務，獲取所述執行任務中的操作數據表名字、操作的字段名和語句中的查詢條件。

5.根據權利要求4所述的方法，其特征在于，根據所述執行任務中的數據文件大小和集群可用內存選擇HIVE查詢引擎或Impala查詢引擎對所述執行任務進行分布式查詢，以生成所述執行任務中用于表征業務分析需求的語句對應的新的執行路徑，包括：

當數據文件大小超過集群可用內存大小的預設閾值時，使用所述HIVE查詢引擎對應的HIVE算法，結合所述操作數據表名字、操作的字段名和語句中的查詢條件，并按照HIVE算法執行數據查詢和結果輸出，生成所述新的執行路徑；

當數據文件大小未超過集群可用內存大小的預設閾值時，使用Impala查詢引擎對應的Impala算法，結合所述操作數據表名字、操作的字段名和語句中的查詢條件，并按照Impala算法執行數據查詢和結果輸出，生成所述新的執行路徑。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

將每個操作數據表對應的數據文件大小與集群可用內存大小進行比較之前，結合每個操作數據表中的統計信息，獲取到每個操作數據表對應的數據文件大小，如果通過所述HIVE算法進行解析得到的解析結果中包含分區表，則在獲取操作數據表對應的數據文件大小時，只需獲取對應的分區文件大小。

7.根據權利要求1所述的方法，其特征在于，所述對包含所述查詢條件的操作數據表進行數據過濾，包括：

在所述包含所述查詢條件的操作數據表的數據文件大小超過所述集群可用內存大小的預設閾值的情況下，通過所述HIVE算法對所述包含所述查詢條件的操作數據表進行數據過濾；

在所述包含所述查詢條件的操作數據表的數據文件大小未超過所述集群可用內存大小的預設閾值的情況下，通過所述Impala算法對所述包含所述查詢條件的操作數據表進行數據過濾。