[發(fā)明專利]一種分布式任務(wù)調(diào)度方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201911026996.2
• 申請日: 2019-10-26
• 公開（公告）號: CN110750349B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 劉昊松;徐輝;姚懿丹;羅躍軍
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 王振宇

1.一種分布式任務(wù)調(diào)度方法，其特征在于，包括；

接收到客戶端業(yè)務(wù)處理請求后，基于文件傳輸協(xié)議將預(yù)處理數(shù)據(jù)分發(fā)至對應(yīng)的節(jié)點服務(wù)器；

根據(jù)節(jié)點服務(wù)器分配的處理任務(wù)，創(chuàng)建redis指令放入消息隊列中；

當(dāng)節(jié)點服務(wù)器輪詢監(jiān)測到對應(yīng)redis指令，讀取所述redis指令中的寫入?yún)?shù)，并根據(jù)所述參數(shù)，調(diào)起預(yù)處理數(shù)據(jù)的任務(wù)處理進(jìn)程；

其中，所述根據(jù)所述參數(shù)，調(diào)起預(yù)處理數(shù)據(jù)的任務(wù)處理進(jìn)程還包括：

在redis指令中實時寫入任務(wù)執(zhí)行狀態(tài)，通過將redis指令添加至消息中間體中反饋任務(wù)狀態(tài)信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)節(jié)點服務(wù)器分配的處理任務(wù)具體為：

根據(jù)各節(jié)點服務(wù)器資源占用率及預(yù)處理數(shù)據(jù)對應(yīng)的任務(wù)處理量，為每個節(jié)點服務(wù)器動態(tài)分配處理任務(wù)，所述處理任務(wù)至少包括任務(wù)類型信息、數(shù)據(jù)庫信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過將redis指令添加至消息中間體中反饋任務(wù)狀態(tài)信息具體為：

主進(jìn)程獲取節(jié)點服務(wù)器寫入的redis指令，判斷節(jié)點服務(wù)器中對應(yīng)的數(shù)據(jù)處理任務(wù)是否執(zhí)行完畢，當(dāng)節(jié)點服務(wù)器中數(shù)據(jù)處理任務(wù)執(zhí)行完畢，再通過對應(yīng)的redis指令更新任務(wù)狀態(tài)。

4.一種分布式任務(wù)調(diào)度系統(tǒng)，其特征在于，包括：

分發(fā)模塊，用于接收到客戶端業(yè)務(wù)處理請求后，基于文件傳輸協(xié)議將預(yù)處理數(shù)據(jù)分發(fā)至對應(yīng)的節(jié)點服務(wù)器；

創(chuàng)建模塊，用于根據(jù)節(jié)點服務(wù)器分配的處理任務(wù)，創(chuàng)建redis指令放入消息隊列中；

執(zhí)行模塊，用于當(dāng)節(jié)點服務(wù)器輪詢監(jiān)測到對應(yīng)redis指令，讀取所述redis指令中的寫入?yún)?shù)，并根據(jù)所述參數(shù)，調(diào)起預(yù)處理數(shù)據(jù)的任務(wù)處理進(jìn)程；

其中，所述執(zhí)行模塊還包括：

反饋模塊，用于在redis指令中實時寫入任務(wù)執(zhí)行狀態(tài)，通過將redis指令添加至消息中間體中反饋任務(wù)狀態(tài)信息。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述根據(jù)節(jié)點服務(wù)器分配的處理任務(wù)具體為：

根據(jù)各節(jié)點服務(wù)器資源占用率及預(yù)處理數(shù)據(jù)對應(yīng)的任務(wù)處理量，為每個節(jié)點服務(wù)器動態(tài)分配處理任務(wù)，所述處理任務(wù)至少包括任務(wù)類型信息、數(shù)據(jù)庫信息。

6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述通過將redis指令添加至消息中間體中反饋任務(wù)狀態(tài)信息具體為：

主進(jìn)程獲取節(jié)點服務(wù)器寫入的redis指令，判斷節(jié)點服務(wù)器中對應(yīng)的數(shù)據(jù)處理任務(wù)是否執(zhí)行完畢，當(dāng)節(jié)點服務(wù)器中數(shù)據(jù)處理任務(wù)執(zhí)行完畢，再通過對應(yīng)的redis指令更新任務(wù)狀態(tài)。