[發明專利]一種流數據任務調度方法和裝置

在審

• 申請號: 201811245457.3
• 申請日: 2018-10-24
• 公開（公告）號: CN111090502A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 王煜驄;酆曉杰
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新;朱文杰

1.一種流數據任務調度方法，應用于任務調度系統，所述任務調度系統用于調度流數據任務，所述流數據任務由流數據處理系統處理，其中，所述方法包括：

基于目標任務的任務狀態參數和目標節點的節點狀態參數，確定目標集群的集群運行參數；

基于所述任務狀態參數和所述集群運行參數中至少一項，確定所述目標任務的調度狀態；

基于所述目標任務的調度狀態，對所述目標任務進行任務調度；

其中，所述流數據處理系統中包含至少一個集群，所述目標集群為所述至少一個集群中任一個，所述目標任務為被分發至所述目標集群處理的流數據任務，所述目標節點為所述目標集群中的流數據處理節點。

2.根據權利要求1所述方法，其中，在基于目標任務的任務狀態參數和目標節點的節點狀態參數，確定目標集群的運行參數之前，所述方法還包括以下至少一項：

根據所述目標任務中數據過滿隊列的數量、所述目標任務中流數據的持續堆積時間和所述目標任務的處理狀態中至少一項，確定所述任務狀態參數；

根據所述目標節點的內存狀態、無效數據回收狀態和節點連通狀態中至少一項，確定所述節點狀態參數。

3.根據權利要求2所述方法，其中，所述方法還包括以下至少一項：

根據所述目標任務中數據過滿隊列的數量，確定負載指數，所述負載指數與所述數據過滿隊列的數量負相關；

根據所述目標任務中流數據的持續堆積時間，確定堆積指數，所述堆積指數與所述持續堆積時間負相關；

根據所述目標任務的處理狀態，確定狀態指數，其中，所述處理狀態為正常處理時，所述狀態指數取為預設上限值，所述處理狀態為處理失敗時，所述狀態指數取為預設下限值。

4.根據權利要求3所述方法，其中，根據所述目標任務中數據過滿隊列的數量、所述目標任務中流數據的持續堆積時間和所述目標任務的處理狀態中至少一項，確定所述任務狀態參數，包括：

對所述負載指數、所述堆積指數和所述狀態指數進行加權計算，得到所述任務狀態參數。

5.根據權利要求4所述方法，其中，對所述負載指數、所述堆積指數和所述狀態指數進行加權計算時，所述負載指數的權重、所述堆積指數的權重和所述狀態指數的權重依次遞增。

6.根據權利要求2所述方法，其中，所述方法還包括：

根據所述目標節點的可用內存量，確定內存指數，所述內存指數與所述可用內存量正相關；

根據所述無效數據回收的消耗時長，確定回收指數，所述回收指數與所述消耗時長負相關；

根據所述目標節點的節點連通狀態，確定連通指數，其中，所述節點連通狀態為正常連通時，所述連通指數取為預設上限值，所述節點連通狀態為連通失敗時，所述連通指數取為預設下限值。

7.根據權利要求6所述方法，其中，根據所述目標節點的內存狀態、無效數據回收狀態和節點連通狀態中至少一項，確定所述節點狀態參數，包括：

對所述內存指數、所述回收指數和所述連通指數進行加權計算，得到所述節點狀態參數。

8.根據權利要求7所述方法，其中，對所述內存指數、所述回收指數和所述連通指數進行加權計算時，所述內存指數的權重、所述回收指數的權重和所述連通指數的權重依次遞增。

9.根據權利要求1～8之任一所述方法，其中，基于目標任務的任務狀態參數和目標節點的節點狀態參數，確定目標集群的集群運行參數，包括：

基于所述任務狀態參數，確定所述目標任務中異常任務的數量；

根據所述異常任務的數量，確定所述目標集群的作業運行參數，所述作業運行參數與所述異常任務的數量負相關；

基于所述節點狀態參數，確定所述目標節點中異常節點的數量；

根據所述異常節點的數量，確定所述目標集群的節點運行參數，所述節點運行參數與所述異常節點的數量負相關；

基于所述作業運行參數和所述節點運行參數，確定所述目標集群的集群運行參數。