[發明專利]用于生成作業告警的方法和系統

有效

• 申請號: 201410499398.8
• 申請日: 2014-09-25
• 公開（公告）號: CN105511957B
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 史巨偉;鄒嘉;徐林昊;曹朝;王晨;李鵬;張曉寧;閆長海;馬駿;孫冰江
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/34
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

1.一種用于生成作業告警的方法，所述方法包括：

通過分析歷史作業來確定目標作業在至少一個階段中的輸入輸出的特性，所述目標作業將要在所述至少一個階段中被并行處理，其中所述歷史作業與所述目標作業具有相同的處理邏輯；

基于所述輸入輸出的特性，計算與所述目標作業的處理相關聯的資源開銷；以及

響應于所述資源開銷超過預定閾值，生成針對所述目標作業的告警，

其中所述目標作業具有中間任務，所述歷史作業具有歷史中間任務，所述中間任務與所述歷史中間任務具有相同的處理邏輯；并且

其中通過分析歷史作業來確定目標作業在至少一個階段中的輸入輸出的特性包括：

基于所述歷史中間任務的輸入輸出的特性，確定所述目標作業關于所述中間任務的輸入輸出的特性。

2.根據權利要求1所述的方法，其中所述歷史作業是基于所述目標作業的輸入數據中已被處理的部分數據而獲得的。

3.根據權利要求1所述的方法，其中通過分析歷史作業來確定目標作業在至少一個階段中的輸入輸出的特性包括：

基于所述歷史作業的輸入數據大小和輸出數據大小，確定所述目標作業的輸入數據與輸出數據之間的第一關聯關系。

4.根據權利要求3所述的方法，其中基于所述輸入輸出的特性，計算與所述目標作業的處理相關聯的資源開銷包括：

獲取所述目標作業的所述輸入數據的大小；以及

基于所述第一關聯關系以及所述目標作業的所述輸入數據的大小，確定所述目標作業在所述至少一個階段之后的輸出數據的大小。

5.根據權利要求4所述的方法，其中響應于所述資源開銷超過預定閾值，生成針對所述目標作業的告警包括：

響應于所述目標作業在所述至少一個階段之后的輸出數據的大小超過相應存儲器的預定存儲閾值，生成針對所述目標作業的所述告警。

6.根據權利要求1所述的方法，其中基于所述歷史中間任務的輸入輸出的特性，確定所述目標作業關于所述中間任務的輸入輸出的特性包括：

基于所述歷史中間任務的輸入數據大小和輸出數據大小，確定所述目標作業關于所述中間任務的輸入數據與輸出數據之間的第二關聯關系。

7.根據權利要求6所述的方法，其中基于所述輸入輸出的特性，計算與所述目標作業的處理相關聯的資源開銷包括：

獲取所述目標作業的輸入數據的屬性，所述輸入數據的屬性包括所述輸入數據的大小、數據分布、以及分塊大小中的至少一個；

基于所述輸入數據的屬性，確定與所述目標作業的所述中間任務相關聯的輸入數據的大小；以及

基于所述第二關聯關系以及與所述中間任務相關聯的輸入數據的大小，確定所述中間任務的輸出數據的大小。

8.根據權利要求7所述的方法，其中響應于所述資源開銷超過預定閾值，生成針對所述目標作業的告警包括：

響應于所述中間任務的所述輸出數據的大小超過相應存儲器的預定存儲閾值，生成針對所述目標作業的所述告警。

9.根據權利要求7所述的方法，其中通過分析歷史作業來確定目標作業在至少一個階段中的輸入輸出的特性進一步包括：基于所述歷史中間任務的輸入數據大小和輸出記錄個數，確定所述目標作業關于所述中間任務的輸入數據與輸出記錄個數之間的第三關聯關系；并且

其中基于所述輸入輸出的特性，計算與所述目標作業的處理相關聯的資源開銷進一步包括：

基于所述第三關聯關系以及與所述中間任務相關聯的輸入數據的大小，確定所述中間任務的輸出記錄個數；以及

基于所述中間任務的所述輸出記錄個數和所述中間任務所述的輸出數據的大小，確定與存儲所述中間任務的輸出數據有關的讀寫量。

10.根據權利要求9所述的方法，其中響應于所述資源開銷超過預定閾值，生成針對所述目標作業的告警包括：

響應于所述讀寫量超過預定讀寫閾值，生成針對所述目標作業的所述告警。