[發明專利]一種流數據任務調度方法和裝置

在審

• 申請號: 201811245457.3
• 申請日: 2018-10-24
• 公開（公告）號: CN111090502A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 王煜驄;酆曉杰
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新;朱文杰

本申請公開了一種流數據任務調度方法，應用于任務調度系統，包括：基于目標任務的任務狀態參數和目標節點的節點狀態參數，確定目標集群的集群運行參數；基于任務狀態參數和集群運行參數中至少一項，確定目標任務的調度狀態；基于目標任務的調度狀態，對目標任務進行任務調度。采用本方案，可以結合任務的運行狀態和節點的運行狀態，綜合判斷集群運行的健康程度，從而可以及時、準確的感知到任務處理或集群運行的異常狀態，進而能夠在流數據任務的處理過程出現異常時及時進行任務調度，有利于降低人工維護成本，提高流數據處理平臺的穩定性。

技術領域

本申請涉及計算機技術領域，尤其涉及一種流數據任務調度方法和裝置。

背景技術

流數據(又可稱為流式數據)，指順序、大量、快速、連續到達數據處理節點(可以具體為計算機、計算機集群等)的數據序列。流數據通常由大量數據源持續生成，可以理解為一個隨時間延續而無限增長的動態數據集合。

在很多應用場景中，例如，日志審計、性能數據監控、網絡監控、傳感器網絡、航空航天、氣象測控、金融服務等，JStorm、Flink等實時流數據處理平臺均可廣泛應用。但是，由于流數據會持續不間斷的大量產生，因此，流數據處理平臺(也可稱為流數據處理系統)將需要長時間、不間斷地運行，以處理流數據任務(又可稱為流計算作業)。

因此，亟需一種能夠在流數據任務的處理過程出現異常時進行任務調度的方法，以降低人工維護成本，提高流數據處理平臺的穩定性。

發明內容

本申請實施例提供一種流數據任務調度方法和裝置，用于在流數據任務的處理過程出現異常時進行任務調度，旨在降低人工維護成本，提高流數據處理系統的穩定性。

本申請實施例采用下述技術方案：

第一方面，本申請實施例提供一種流數據任務調度方法，應用于任務調度系統，所述任務調度系統用于調度流數據任務，所述流數據任務由流數據處理系統處理，其中，所述方法包括：

基于目標任務的任務狀態參數和目標節點的節點狀態參數，確定目標集群的集群運行參數；

基于所述任務狀態參數和所述集群運行參數中至少一項，確定所述目標任務的調度狀態；

基于所述目標任務的調度狀態，對所述目標任務進行任務調度；

其中，所述流數據處理系統中包含至少一個集群，所述目標集群為所述至少一個集群中任一個，所述目標任務為被分發至所述目標集群處理的流數據任務，所述目標節點為所述目標集群中的流數據處理節點。

優選的，本申請實施例第一方面提供的方法中，在基于目標任務的任務狀態參數和目標節點的節點狀態參數，確定目標集群的運行參數之前，所述方法還包括以下至少一項：

根據所述目標任務中數據過滿隊列的數量、所述目標任務中流數據的持續堆積時間和所述目標任務的處理狀態中至少一項，確定所述任務狀態參數；

根據所述目標節點的內存狀態、無效數據回收狀態和節點連通狀態中至少一項，確定所述節點狀態參數。

優選的，本申請實施例第一方面提供的方法中，所述方法還包括以下至少一項：

根據所述目標任務中數據過滿隊列的數量，確定負載指數，所述負載指數與所述數據過滿隊列的數量負相關；

根據所述目標任務中流數據的持續堆積時間，確定堆積指數，所述堆積指數與所述持續堆積時間負相關；

根據所述目標任務的處理狀態，確定狀態指數，其中，所述處理狀態為正常處理時，所述狀態指數取為預設上限值，所述處理狀態為處理失敗時，所述狀態指數取為預設下限值。