[發明專利]提升數據倉庫工具資源利用率的方法和裝置

在審

• 申請號: 201710590415.2
• 申請日: 2017-07-19
• 公開（公告）號: CN107463642A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 強晶晶
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 張一軍,楊曉偉

1.一種提升數據倉庫工具資源利用率的方法，其特征在于，針對數據倉庫工具發起的任務進行資源占用分析，包括：

在任務提交之前，分析所述任務的預計資源占用，若所述預計資源占用超過預設占用閾值一，則拒絕執行所述任務；和/或

在任務執行過程中，監控所述任務的實際資源占用，若所述實際資源占用超過預設占用閾值二，則認定所述任務為無效任務并做結束處理。

2.根據權利要求1所述的方法，其特征在于，所述預設占用閾值一包括如下一種或幾種：任務任意階段的數據大小閾值M、表的待處理數據大小閾值N、表數據合并過程中產生的臨時數據表的數據大小閾值Q。

3.根據權利要求1所述的方法，其特征在于，所述預設占用閾值二包括如下一種或幾種：任務執行過程中產生的臨時文件大小閾值V、任務所占用的服務器的內存消耗閾值W、任務所占用的服務器的網絡帶寬占用閾值X、任務執行時長閾值Y、任務的子任務執行時長閾值Z。

4.根據權利要求2所述的方法，其特征在于，分析所述任務的預計資源占用，若所述預計資源占用超過預設占用閾值一，則拒絕執行所述任務包括：

獲取并解析任務的執行計劃，以獲取任務各階段的數據大小；

若任意階段的數據大小超過閾值M時，則認定所述任務為無效任務并拒絕執行；和/或

若任務中某表的待處理數據大小超過閾值N時，則獲取所述表的總數據大小，若所述閾值N超過所述表的總數據大小的1/2，則認定所述任務為無效任務并拒絕執行；和/或

若執行計劃內表數據合并過程中產生的臨時數據表的數據大小超過閾值Q，且任務不屬于前述兩種認定情況，則所述臨時數據表的總數據條數大于待合并的表中最小表的數據條數的L倍時，認定所述任務為無效任務并拒絕執行。

5.根據權利要求3所述的方法，其特征在于，監控所述任務的實際資源占用，若所述實際資源占用超過預設占用閾值二，則認定所述任務為無效任務并做結束處理包括：

若所述任務執行過程中產生的臨時文件大小超過閾值V，則認定所述任務為無效任務并做結束處理；和/或

統計所述任務所占用所有服務器的實時內存消耗，若其中一臺服務器的實時內存消耗超過閾值W，則認定所述任務為無效任務并做結束處理；和/或

統計所述任務所占用所有服務器的網絡帶寬占用，若其中一臺服務器的網絡帶寬占用超過閾值X，則認定所述任務為無效任務并做結束處理；和/或

若所述任務的執行時長超過閾值Y，則認定所述任務為無效任務并做結束處理；和/或

若所述任務中剩余的子任務的個數小于等于2，且剩余的子任務的執行時長超過閾值Z，則認定所述任務為無效任務并做結束處理；和/或

若所述任務出現數據傾斜，則認定所述任務為無效任務并做結束處理。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：設置白名單，用以標記無需進行資源占用分析的任務。

7.一種提升數據倉庫工具資源利用率的裝置，其特征在于，所述裝置用以針對數據倉庫工具發起的任務進行資源占用分析，包括：

任務執行計劃分析模塊，用于在任務提交之前，分析所述任務的預計資源占用，若所述預計資源占用超過預設占用閾值一，則拒絕執行所述任務；和/或

任務資源使用分析模塊，用于在任務執行過程中，監控所述任務的實際資源占用，若所述實際資源占用超過預設占用閾值二，則認定所述任務為無效任務并做結束處理。

8.根據權利要求7所述的裝置，其特征在于，所述預設占用閾值一包括如下一種或幾種：任務任意階段的數據大小閾值M、表的待處理數據大小閾值N、表數據合并過程中產生的臨時數據表的數據大小閾值Q。

9.根據權利要求7所述的裝置，其特征在于，所述預設占用閾值二包括如下一種或幾種：任務執行過程中產生的臨時文件大小閾值V、任務所占用的服務器的內存消耗閾值W、任務所占用的服務器的網絡帶寬占用閾值X、任務執行時長閾值Y、任務的子任務執行時長閾值Z。