[發明專利]提升數據倉庫工具資源利用率的方法和裝置

在審

• 申請號: 201710590415.2
• 申請日: 2017-07-19
• 公開（公告）號: CN107463642A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 強晶晶
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 張一軍,楊曉偉

技術領域

本發明涉及計算機技術領域，尤其涉及一種提升數據倉庫工具資源利用率的方法和裝置。

背景技術

數據倉庫工具是當前用于數據分析的重要工具，可進行高效的數據查詢分析等操作。數據倉庫工具在進行數據分析時，主要是依賴于資源管理器進行資源調度和管理。資源管理器在資源調度時，能夠做到盡可能平衡的資源分配。但在線上的應用中，無效的查詢分析(下文中簡稱為“任務”)常常占了較大比例，造成了資源浪費的同時，還影響了有效任務的性能。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1、數據倉庫工具發起的任務中存在大量的無效任務，造成資源浪費，而現有技術中并沒有有效地甄別無效任務的方案；

2、資源管理器在資源調度時能盡量平衡的分配資源，但由于數據分析人員的人為原因等因素，常有無效的任務占滿整體資源的情況發生。而資源管理器并不能夠識別這些無效任務并阻止其運行。

發明內容

有鑒于此，本發明實施例提供一種提升數據倉庫工具資源利用率的方法和裝置，能夠對數據倉庫工具發起的任務進行資源占用的管理和控制，甄別出無效任務，降低資源浪費并提升整個數據分析平臺的工作效率。

為實現上述目的，根據本發明實施例的一個方面，提供了一種提升數據倉庫工具資源利用率的方法。

本發明實施例的一種提升數據倉庫工具資源利用率的方法，針對數據倉庫工具發起的任務進行資源占用分析，包括：在任務提交之前，分析所述任務的預計資源占用，若所述預計資源占用超過預設占用閾值一，則拒絕執行所述任務；和/或在任務執行過程中，監控所述任務的實際資源占用，若所述實際資源占用超過預設占用閾值二，則認定所述任務為無效任務并做結束處理。

可選地，所述預設占用閾值一包括如下一種或幾種：任務任意階段的數據大小閾值M、表的待處理數據大小閾值N、表數據合并過程中產生的臨時數據表的數據大小閾值Q。

可選地，所述預設占用閾值二包括如下一種或幾種：任務執行過程中產生的臨時文件大小閾值V、任務所占用的服務器的內存消耗閾值W、任務所占用的服務器的網絡帶寬占用閾值X、任務執行時長閾值Y、任務的子任務執行時長閾值Z。

可選地，分析所述任務的預計資源占用，若所述預計資源占用超過預設占用閾值一，則拒絕執行所述任務包括：獲取并解析任務的執行計劃，以獲取任務各階段的數據大小；若任意階段的數據大小超過閾值M時，則認定所述任務為無效任務并拒絕執行；和/或若任務中某表的待處理數據大小超過閾值N時，則獲取所述表的總數據大小，若所述閾值N超過所述表的總數據大小的1/2，則認定所述任務為無效任務并拒絕執行；和/或若執行計劃內表數據合并過程中產生的臨時數據表的數據大小超過閾值Q，且任務不屬于前述兩種認定情況，則所述臨時數據表的總數據條數大于待合并的表中最小表的數據條數的L倍時，認定所述任務為無效任務并拒絕執行。

可選地，監控所述任務的實際資源占用，若所述實際資源占用超過預設占用閾值二，則認定所述任務為無效任務并做結束處理包括：若所述任務執行過程中產生的臨時文件大小超過閾值V，則認定所述任務為無效任務并做結束處理；和/或統計所述任務所占用所有服務器的實時內存消耗，若其中一臺服務器的實時內存消耗超過閾值W，則認定所述任務為無效任務并做結束處理；和/或統計所述任務所占用所有服務器的網絡帶寬占用，若其中一臺服務器的網絡帶寬占用超過閾值X，則認定所述任務為無效任務并做結束處理；和/或若所述任務的執行時長超過閾值Y，則認定所述任務為無效任務并做結束處理；和/或若所述任務中剩余的子任務的個數小于等于2，且剩余的子任務的執行時長超過閾值Z，則認定所述任務為無效任務并做結束處理；和/或若所述任務出現數據傾斜，則認定所述任務為無效任務并做結束處理。

可選地，所述方法還包括：設置白名單，用以標記無需進行資源占用分析的任務。

為實現上述目的，根據本發明實施例的另一方面，提供了一種提升數據倉庫工具資源利用率的裝置。

本發明實施例的一種提升數據倉庫工具資源利用率的裝置用以針對數據倉庫工具發起的任務進行資源占用分析，包括：任務執行計劃分析模塊，用于在任務提交之前，分析所述任務的預計資源占用，若所述預計資源占用超過預設占用閾值一，則拒絕執行所述任務；和/或任務資源使用分析模塊，用于在任務執行過程中，監控所述任務的實際資源占用，若所述實際資源占用超過預設占用閾值二，則認定所述任務為無效任務并做結束處理。