[發明專利]大數據平臺的任務調度方法

有效

• 申請號: 201710980556.5
• 申請日: 2017-10-19
• 公開（公告）號: CN107908465B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 楊博
• 申請（專利權）人: 深圳索信達數據技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

本發明公開了一種大數據平臺的任務調度方法，其包括：控制終端獲取用戶輸入的任務參數、根據任務參數生成目標任務實例和通知消息，目標任務實例對應通知消息；數據庫接收目標任務實例，并將目標任務實例寫入至任務例表；包括多個任務代理節點的任務代理集群接收到通知消息后，任務代理節點從數據庫的任務列表中讀取與通知消息對應的目標任務實例，并將目標任務實例下發至任務運行集群；任務運行集群接收到目標任務實例后，運行目標任務實例。本發明生成目標任務實例并將該目標任務實例寫入數據庫的寫操作，與任務代理節點從數據庫中讀取目標任務實例的讀操作，兩者獨立，以致讀寫分離，從而避免了讀操作與寫操作之間的相互影響，提升了處理速率。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種大數據平臺的任務調度方法。

背景技術

隨著互聯網技術以及信息技術的發展，大量的信息被數據化，產生了無法用常規工具捕捉、管理和處理的海量數據集合，這種數據集合也稱為大數據。

大數據具有海量的數據規模以及多樣的數據類型，使用大數據系統對大數據加工處理，挖掘出海量數據的數據價值。為了更好地對大數據進行處理分析，可以對大數據的處理任務進行相應的調度，保證大數據任務的高效運行。

大數據系統包括調度大數據任務的任務調度系統，現有的大數據任務調度系統一般是基于工作流來管理任務。通過設置任務之間的依賴關系，構建任務的有向無環圖模型，以完成對大數據任務的調度管理。但是，現有的大數據任務調度系統的數據庫的讀操作與寫操作之間存在相互影響，從而影響了大數據任務調度系統的處理速率。

發明內容

本發明的目的在于提供一種大數據平臺的任務調度方法，以解決現有的大數據任務調度系統的處理速率。

為了解決上述問題，本發明提供了一種大數據平臺的任務調度方法，其包括如下步驟：

控制終端獲取用戶輸入的任務參數、根據任務參數生成目標任務實例和通知消息，目標任務實例對應通知消息；

數據庫接收目標任務實例，并將目標任務實例寫入至任務例表；

包括多個任務代理節點的任務代理集群接收到通知消息后，任務代理節點從數據庫的任務列表中讀取與通知消息對應的目標任務實例，并將目標任務實例下發至任務運行集群；

任務運行集群接收到目標任務實例后，運行目標任務實例。

作為本發明的進一步改進，根據任務參數生成目標任務實例和通知消息的步驟之后，還包括：

控制終端從數據庫獲取所有第一任務運行狀態數據信息，并根據所有第一任務運行狀態數據信息分析得到運行的任務數量；

控制終端判斷任務數量是否超過預設閾值；

若任務數量超過預設閾值，則控制終端不發送通知消息至任務代理節點。

作為本發明的進一步改進，控制終端獲取用戶輸入的任務參數、根據任務參數生成目標任務實例的步驟包括：

控制終端獲取用戶在多個預設任務模板中選中的目標任務模板；

控制終端獲取用戶輸入的任務參數，并根據任務參數和目標任務模板生成目標任務實例。

作為本發明的進一步改進，任務運行集群包括多個任務運行節點，控制終端獲取用戶輸入的任務參數、根據任務參數生成目標任務實例和通知消息的步驟之前，還包括：

控制終端獲取用戶輸入的所需任務運行節點的數量，并根據數量增加或減少任務運行節點。

作為本發明的進一步改進，任務代理節點包括監控模塊，運行目標任務實例的步驟之后，還包括：