[發明專利]大數據平臺的任務調度方法

有效

• 申請號: 201710980556.5
• 申請日: 2017-10-19
• 公開（公告）號: CN107908465B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 楊博
• 申請（專利權）人: 深圳索信達數據技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

1.一種大數據平臺的任務調度方法，其特征在于，其包括如下步驟：

控制終端獲取用戶輸入的任務參數、根據所述任務參數生成目標任務實例和通知消息，所述目標任務實例對應所述通知消息；

數據庫接收所述目標任務實例，并將所述目標任務實例寫入至任務列表；

包括多個任務代理節點的任務代理集群接收到所述通知消息后，所述任務代理節點從所述數據庫的任務列表中讀取與所述通知消息對應的目標任務實例，并將所述目標任務實例下發至任務運行集群；

所述任務運行集群接收到所述目標任務實例后，運行所述目標任務實例；

所述根據所述任務參數生成目標任務實例和通知消息的步驟之后，還包括：

所述控制終端從所述數據庫獲取所有第一任務運行狀態數據信息，并根據所述所有第一任務運行狀態數據信息分析得到運行的任務數量；

所述控制終端判斷所述任務數量是否超過預設閾值；

若所述任務數量超過所述預設閾值，則所述控制終端不發送通知消息至所述任務代理節點。

2.根據權利要求1所述的大數據平臺的任務調度方法，其特征在于，所述控制終端獲取用戶輸入的任務參數、根據所述任務參數生成目標任務實例的步驟包括：

所述控制終端獲取用戶在多個預設任務模板中選中的目標任務模板；

所述控制終端獲取用戶輸入的所述任務參數，并根據所述任務參數和所述目標任務模板生成所述目標任務實例。

3.根據權利要求1所述的大數據平臺的任務調度方法，其特征在于，所述任務運行集群包括多個任務運行節點，所述控制終端獲取用戶輸入的任務參數、根據所述任務參數生成目標任務實例和通知消息的步驟之前，還包括：

所述控制終端獲取用戶輸入的所需所述任務運行節點的數量，并根據所述數量增加或減少所述任務運行節點。

4.根據權利要求1所述的大數據平臺的任務調度方法，其特征在于，所述任務代理節點包括監控模塊，所述運行所述目標任務實例的步驟之后，還包括：

所述監控模塊監控所述目標任務實例的執行，以獲得第二任務運行狀態數據信息，并將所述第二任務運行狀態數據信息傳輸至所述數據庫。

5.根據權利要求4所述的大數據平臺的任務調度方法，其特征在于，所述監控模塊監控所述目標任務實例的執行的步驟之后，還包括：

所述監控模塊檢測當前任務代理節點的運行狀態；

所述監控模塊根據所述運行狀態判斷所述當前任務代理節點是否宕機；

若根據所述運行狀態判定所述當前任務代理節點宕機時，則發送反饋信息至所述控制終端；

所述控制終端選擇出替代任務代理節點，替換所述當前任務代理節點，以繼續執行所述目標任務實例。

6.根據權利要求4所述的大數據平臺的任務調度方法，其特征在于，所述監控模塊監控所述目標任務實例的執行，以獲得第二任務運行狀態數據信息，并將所述第二任務運行狀態數據信息傳輸至所述數據庫的步驟之后，還包括：

所述目標任務實例執行完成后，所述任務代理節點生成第一日志文件，并將所述第一日志文件傳輸至Hadoop分布式文件系統進行存儲。

7.根據權利要求1所述的大數據平臺的任務調度方法，其特征在于，其還包括：

所述控制終端獲取用戶輸入的任務停止指令，并將所述任務停止指令發送至所述任務代理節點；

所述任務代理節點接收到所述任務停止指令后，發送任務停止請求至所述任務運行集群；

所述任務運行集群接收到所述任務停止請求后，停止所述目標任務實例的執行；

所述目標任務實例停止執行后，所述任務代理節點生成第二日志文件和刪除所述目標任務實例，并將所述第二日志文件傳輸至Hadoop分布式文件系統進行存儲。