[發(fā)明專利]一種教育云大數(shù)據(jù)任務(wù)調(diào)度方法與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910808356.0
• 申請(qǐng)日: 2019-08-29
• 公開（公告）號(hào): CN110647387B
• 公開（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 秦琪;李琦
• 申請(qǐng)（專利權(quán)）人: 武漢天喻教育科技有限公司;武漢天喻信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F16/215;G06F16/25;G06F16/28;G06Q10/06;G06Q50/20
• 代理公司: 武漢智權(quán)專利代理事務(wù)所(特殊普通合伙) 42225
• 代理人: 李斯

1.一種教育云大數(shù)據(jù)任務(wù)調(diào)度方法，其特征在于，包括步驟：

A1、從多個(gè)數(shù)據(jù)源獲取待處理源數(shù)據(jù)，對(duì)所述待處理源數(shù)據(jù)進(jìn)行預(yù)處理依次得到源數(shù)據(jù)和相應(yīng)的標(biāo)準(zhǔn)表，配置作業(yè)周期和調(diào)度參數(shù)，基于所述標(biāo)準(zhǔn)表創(chuàng)建多個(gè)數(shù)據(jù)模型，每個(gè)所述數(shù)據(jù)模型對(duì)應(yīng)一個(gè)具有作業(yè)類型和依賴關(guān)系的作業(yè)；

A2、每一個(gè)作業(yè)根據(jù)所述作業(yè)周期生成多個(gè)任務(wù)，作業(yè)周期相同的任務(wù)存儲(chǔ)在一個(gè)隊(duì)列中，在每個(gè)隊(duì)列中，每個(gè)周期內(nèi)并發(fā)的任務(wù)隨機(jī)先后排列，根據(jù)所述調(diào)度參數(shù)依次運(yùn)行當(dāng)前周期的所有所述任務(wù)；

所述步驟A2中，執(zhí)行每一個(gè)所述任務(wù)前，判斷其是否同時(shí)滿足相應(yīng)的所述調(diào)度參數(shù)和對(duì)應(yīng)任務(wù)已完成，若是，執(zhí)行所述任務(wù)；若否，將其重新放入相應(yīng)所述隊(duì)列末端繼續(xù)等待執(zhí)行；

所述對(duì)應(yīng)任務(wù)為所述數(shù)據(jù)模型中與所述任務(wù)具有所述依賴關(guān)系的相應(yīng)任務(wù)。

2.如權(quán)利要求1所述的教育云大數(shù)據(jù)任務(wù)調(diào)度方法，其特征在于，所述步驟A1中，多個(gè)所述數(shù)據(jù)模型包括維度表模型、事實(shí)表模型、指標(biāo)表模型以及匯總表模型；

所述匯總表模型通過所述維度表模型、所述事實(shí)表模型以及所述指標(biāo)表模型匯總處理得到。

3.如權(quán)利要求1所述的教育云大數(shù)據(jù)任務(wù)調(diào)度方法，其特征在于，所述教育云大數(shù)據(jù)任務(wù)調(diào)度方法還包括：

A3、監(jiān)控所述作業(yè)和所述任務(wù)的運(yùn)行狀態(tài)數(shù)據(jù)，以分別進(jìn)行作業(yè)管理和任務(wù)管理；

所述作業(yè)管理包括查看、暫停以及刪除所述作業(yè)；

所述任務(wù)管理包括查看運(yùn)行日志和批量重跑所述任務(wù)。

4.如權(quán)利要求1所述的教育云大數(shù)據(jù)任務(wù)調(diào)度方法，其特征在于，所述調(diào)度參數(shù)包括生效日期、出錯(cuò)重試參數(shù)、定時(shí)調(diào)度參數(shù)；

所述生效日期用于設(shè)定作業(yè)的有效執(zhí)行時(shí)間區(qū)間；

所述出錯(cuò)重試參數(shù)用于設(shè)定任務(wù)報(bào)錯(cuò)后自動(dòng)重跑次數(shù)；

所述定時(shí)調(diào)度參數(shù)用于設(shè)定觸發(fā)任務(wù)執(zhí)行的時(shí)間。

5.如權(quán)利要求1所述的教育云大數(shù)據(jù)任務(wù)調(diào)度方法，其特征在于，所述步驟A1中，配置所述調(diào)度參數(shù)時(shí)，用戶手動(dòng)寫入Hive Sql并選擇調(diào)度參數(shù)，以在生成所述數(shù)據(jù)模型時(shí)，根據(jù)Hive語(yǔ)法樹進(jìn)行語(yǔ)法校驗(yàn)，并解析SQL中的輸入輸出表，根據(jù)與其他作業(yè)輸入輸出表的關(guān)聯(lián)關(guān)系自動(dòng)關(guān)聯(lián)任務(wù)的上下游關(guān)系，進(jìn)而生成作業(yè)的依賴關(guān)系。

6.一種教育云大數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)，其特征在于，包括：

本地終端，用于從多個(gè)數(shù)據(jù)源獲取待處理源數(shù)據(jù)，對(duì)所述待處理源數(shù)據(jù)進(jìn)行預(yù)處理依次得到源數(shù)據(jù)和相應(yīng)的標(biāo)準(zhǔn)表，配置作業(yè)周期和調(diào)度參數(shù)，基于所述標(biāo)準(zhǔn)表創(chuàng)建多個(gè)數(shù)據(jù)模型，每個(gè)所述數(shù)據(jù)模型對(duì)應(yīng)一個(gè)具有作業(yè)類型和依賴關(guān)系的作業(yè)；

所述教育云大數(shù)據(jù)端，連接所述本地終端，用于將每一個(gè)作業(yè)根據(jù)所述作業(yè)周期生成多個(gè)任務(wù)，作業(yè)周期相同的任務(wù)存儲(chǔ)在一個(gè)隊(duì)列中，在每個(gè)隊(duì)列中，每個(gè)周期內(nèi)并發(fā)的任務(wù)隨機(jī)先后排列，根據(jù)所述調(diào)度參數(shù)依次運(yùn)行當(dāng)前周期的所有所述任務(wù)；

執(zhí)行每一個(gè)所述任務(wù)前，判斷其是否滿足相應(yīng)的所述調(diào)度參數(shù)，若是，執(zhí)行所述任務(wù)；若否，將其重新放入相應(yīng)所述隊(duì)列末端繼續(xù)等待執(zhí)行。

7.如權(quán)利要求6所述的教育云大數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)，其特征在于，多個(gè)所述數(shù)據(jù)模型包括維度表模型、事實(shí)表模型、指標(biāo)表模型以及匯總表模型；

所述匯總表模型通過所述維度表模型、所述事實(shí)表模型以及所述指標(biāo)表模型匯總處理得到。

8.如權(quán)利要求6所述的教育云大數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)，其特征在于，所述教育云大數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)還包括：

運(yùn)行維護(hù)端，連接所述教育云大數(shù)據(jù)端，用于獲取所述作業(yè)和所述任務(wù)的運(yùn)行狀態(tài)數(shù)據(jù)，以分別進(jìn)行作業(yè)管理和任務(wù)管理；

所述作業(yè)管理包括查看、暫停以及刪除所述作業(yè)；

所述任務(wù)管理包括查看運(yùn)行日志和批量重跑所述任務(wù)。