[發明專利]一種教育云大數據任務調度方法與系統

有效

• 申請號: 201910808356.0
• 申請日: 2019-08-29
• 公開（公告）號: CN110647387B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 秦琪;李琦
• 申請（專利權）人: 武漢天喻教育科技有限公司;武漢天喻信息產業股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/215;G06F16/25;G06F16/28;G06Q10/06;G06Q50/20
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 李斯

一種教育云大數據任務調度方法與系統，涉及大數據領域，包括：從多個數據源獲取待處理源數據，對所述待處理源數據進行預處理依次得到源數據和相應的標準表，配置作業周期和調度參數，基于所述標準表創建多個數據模型，每個所述數據模型對應一個具有作業類型和依賴關系的作業；每一個作業根據所述作業周期生成多個任務，作業周期相同的任務存儲在一個隊列中，在每個隊列中，每個周期內并發的任務隨機先后排列，根據所述調度參數依次運行當前周期的所有所述任務。本發明根據數倉設計原則，創建不同層級的作業，放入對應隊列，并指定隊列并行度，按層級執行隊列任務，有效提高調度執行效率。

技術領域

本發明涉及大數據技術領域，具體來講，涉及一種教育云大數據任務調度方法與系統。

背景技術

任務調度是基于操作系統的后臺任務運行機制，根據一定的約束規定，將CPU分配給符合條件的任務使用。對于實時操作系統，任務調度直接影響其實時性能。任務調度主要用于后臺任務運行，根據優先級對任務隊列排序，以及加入高優先級的任務時中斷低優先級的任務等。

現有任務調度技術尚不太成熟，常用的調度算法有優先選取其最早完成時間最小的一個任務進行調度和優先調度其最早完成時間最大的任務。但這兩種方法也有一定的缺點和不足，因為對于優先選取最早完成時間最小的一個任務，如果任務集中存在過多執行時間比較小的任務，那么時間比較大的任務將無法得到及時執行。而優先調度最早完成時間最大的任務算法首先調度最早完成時間最大的任務，完成時間較小的任務等待時間過長，影響執行效率，也可能造成負載不均衡。

發明內容

為達到以上目的，本發明采取一種教育云大數據任務調度方法，包括：

A1、從多個數據源獲取待處理源數據，對所述待處理源數據進行預處理依次得到源數據和相應的標準表，配置作業周期和調度參數，

基于所述標準表創建多個數據模型，每個所述數據模型對應一個具有作業類型和依賴關系的作業；

A2、每一個作業根據所述作業周期生成多個任務，作業周期相同的任務存儲在一個隊列中，在每個隊列中，每個周期內并發的任務隨機先后排列，根據所述調度參數依次運行當前周期的所有所述任務。

在上述技術方案的基礎上，所述步驟A1中，多個所述數據模型包括維度表模型、事實表模型、指標表模型以及匯總表模型；

所述匯總表模型通過所述維度表模型、所述事實表模型以及所述指標表模型匯總處理得到。

在上述技術方案的基礎上，所述步驟A2中，執行每一個所述任務前，判斷其是否同時滿足相應的所述調度參數和對應任務已完成，若是，執行所述任務；若否，將其重新放入相應所述隊列末端繼續等待執行；

所述對應任務為所述數據模型中與所述任務具有所述依賴關系的相應任務。

在上述技術方案的基礎上，所述教育云大數據任務調度方法還包括：

A3、監控所述作業和所述任務的運行狀態數據，以分別進行作業管理和任務管理；

所述作業管理包括查看、暫停以及刪除所述作業；

所述任務管理包括查看運行日志和批量重跑所述任務。

在上述技術方案的基礎上，所述調度參數包括生效日期、出錯重試參數、定時調度參數；

所述生效日期用于設定作業的有效執行時間區間；

所述出錯重試參數用于設定任務報錯后自動重跑次數；

所述定時調度參數用于設定觸發任務執行的時間。