[發明專利]一種大數據任務資源利用檢測方法及裝置

在審

• 申請號: 202010596936.0
• 申請日: 2020-06-28
• 公開（公告）號: CN111782466A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 楊澤森
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34;G06F16/27;G06F16/28
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 沈園園

1.一種大數據任務資源利用檢測方法，其特征在于，包括：

確定大數據平臺的應用作業對應的計算任務及所述計算任務包括的子任務；

獲取所述子任務對應的計算資源利用數據；

根據所述計算資源利用數據計算所述計算任務對應的任務資源利用數據和/或所述應用作業對應的作業資源利用數據；

執行所述任務資源利用數據和/或所述作業資源利用數據對應的資源優化操作。

2.根據權利要求1所述的方法，其特征在于，所述計算資源利用數據包括所述子任務對應的資源申請量、最大資源使用量及運行時間；所述根據所述計算資源利用數據計算所述計算任務對應的任務資源利用數據，包括：

根據所述資源申請量、最大資源使用量及運行時間計算所述子任務對應的資源異常量；

根據所述計算任務下所有子任務的資源異常量得到所述計算任務對應的任務資源異常量。

3.根據權利要求2所述的方法，其特征在于，所述根據所述計算資源利用數據計算所述應用作業對應的作業資源利用數據，包括：

根據所述資源申請量、最大資源使用量及運行時間計算所述子任務對應的資源異常量；

根據所述計算任務下所有子任務的資源異常量得到所述計算任務對應的任務資源異常量；

根據所述應用作業對應的所有計算任務的任務資源異常量得到所述應用作業對應的作業資源異常量。

4.根據權利要求1所述的方法，其特征在于，所述執行所述任務資源利用數據和/或所述作業資源利用數據對應的資源優化操作，包括：

當根據所述任務資源利用數據確定所述計算任務滿足第一預設條件時，對所述計算任務執行預警操作；

和/或，

當根據所述作業資源利用數據確定所述應用作業滿足第二預設條件時，對所述應用作業執行預警操作。

5.根據權利要求4所述的方法，其特征在于，當根據所述任務資源利用數據確定所述計算任務滿足第一預設條件和/或根據所述作業資源利用數據確定所述應用作業滿足第二預設條件時，所述執行所述任務資源利用數據和/或所述作業資源利用數據對應的資源優化操作，還包括：

確定所述第一預設條件和/或第二預設條件對應的資源優化參數；

根據所述資源優化參數確定所述大數據平臺的資源參數。

6.根據權利要求5所述的方法，其特征在于，所述確定所述第一預設條件和/或第二預設條件對應的資源優化參數，包括：

確定所述第一預設條件和/或第二預設條件對應的資源優化等級；

獲取所述資源優化等級對應的所述資源優化參數。

7.根據權利要求5所述的方法，其特征在于，所述方法還包括：

獲取所述大數據平臺的歷史資源利用數據；

根據所述歷史資源利用數據確定所述子任務對應的目標計算資源量；

根據所述目標計算資源量確定所述資源優化參數。

8.根據權利要求1所述的方法，其特征在于，所述確定大數據平臺的應用作業對應的計算任務及所述計算任務包括的子任務，包括：

采集所述應用作業對應的實時作業數據；

根據所述實時作業數據確定所述應用作業對應的計算任務；

采集所述計算任務對應的實時計算任務數據；

根據所述實時計算任務數據確定所述計算任務包括的子任務。

9.一種大數據任務資源利用檢測裝置，其特征在于，包括：

確定模塊，用于確定大數據平臺的應用作業對應的計算任務及所述計算任務包括的子任務；

獲取模塊，用于獲取所述子任務對應的計算資源利用數據；

計算模塊，用于根據所述計算資源利用數據計算所述計算任務對應的任務資源利用數據和/或所述應用作業對應的作業資源利用數據；

執行模塊，用于執行所述任務資源利用數據和/或所述作業資源利用數據對應的資源優化操作。