[發(fā)明專利]一種大數(shù)據(jù)平臺(tái)去中心化的調(diào)度和執(zhí)行方法、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011631395.7
• 申請(qǐng)日: 2020-12-31
• 公開（公告）號(hào): CN112822250B
• 公開（公告）日: 2023-03-17
• 發(fā)明（設(shè)計(jì)）人: 王晟
• 申請(qǐng)（專利權(quán)）人: 鯨靈科技有限責(zé)任公司
• 主分類號(hào): H04L67/60
• 分類號(hào): H04L67/60;H04L67/62;H04L67/10;H04L67/02
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 吳靜波

本發(fā)明公開了一種大數(shù)據(jù)平臺(tái)去中心化的任務(wù)調(diào)度觸發(fā)和執(zhí)行方法，若干個(gè)調(diào)度觸發(fā)模塊以進(jìn)程為單位分布在ZooKeeper集群中同時(shí)運(yùn)行、調(diào)度觸發(fā)模塊將被調(diào)度大數(shù)據(jù)計(jì)算任務(wù)的META信息寫入ZooKeeper集群、任務(wù)執(zhí)行模塊以進(jìn)程為單位，分布在ZooKeeper集群多個(gè)ZNode節(jié)點(diǎn)中運(yùn)行、任務(wù)執(zhí)行模塊從ZooKeeper的ZNode樹上進(jìn)行依次遍歷；當(dāng)發(fā)現(xiàn)某個(gè)子過程具備執(zhí)行條件時(shí)，鎖定該任務(wù)、獲取任務(wù)信息，執(zhí)行該任務(wù)，并將任務(wù)的子過程執(zhí)行結(jié)果和狀態(tài)信息寫入MySQL的任務(wù)歷史、用戶通過WebSocket協(xié)議建立后端WEB模塊的連接，實(shí)時(shí)掌控ZooKeeper樹中記錄的所有任務(wù)的配置和狀態(tài)信息。

技術(shù)領(lǐng)域

本發(fā)明涉及一種大數(shù)據(jù)平臺(tái)去中心化的調(diào)度和執(zhí)行方法、裝置。

背景技術(shù)

任務(wù)調(diào)度、執(zhí)行是操作系統(tǒng)的重要組成部分。對(duì)于周期性任務(wù)的統(tǒng)一調(diào)度，現(xiàn)有技術(shù)中主要通過判斷當(dāng)前時(shí)間與任務(wù)上次執(zhí)行開始時(shí)間之間的時(shí)間差大于任務(wù)執(zhí)行間隔來確定調(diào)度任務(wù)，任務(wù)在數(shù)據(jù)倉庫的概念中就是最小處理數(shù)據(jù)動(dòng)作的一種技術(shù)實(shí)現(xiàn)，在一個(gè)數(shù)據(jù)倉庫中，數(shù)據(jù)的處理都是由成千上萬的各種處理任務(wù)完成。在當(dāng)前流行的數(shù)據(jù)倉庫平臺(tái)中，任務(wù)調(diào)度一般都實(shí)現(xiàn)了根據(jù)任務(wù)依賴關(guān)系，進(jìn)行任務(wù)并發(fā)調(diào)度，并可以設(shè)置任務(wù)運(yùn)行的并發(fā)度及任務(wù)的優(yōu)先級(jí)，優(yōu)先級(jí)越高，任務(wù)會(huì)優(yōu)先觸發(fā)執(zhí)行。但在一些實(shí)際使用場(chǎng)景中，仍然存在種種問題，例如：由于數(shù)據(jù)平臺(tái)運(yùn)算資源不夠，發(fā)生整個(gè)平臺(tái)宕掉；任務(wù)的觸發(fā)時(shí)間和完成時(shí)間沒有達(dá)到業(yè)務(wù)方的需求等等。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是提供一種任一調(diào)度觸發(fā)模塊宕機(jī)后，可通過釋放其所在Trigger定義的控制權(quán)，被剩余的各調(diào)度觸發(fā)模塊予以Quartz服務(wù)實(shí)例化啟動(dòng)，不會(huì)因?yàn)槟硞€(gè)調(diào)度觸發(fā)模塊進(jìn)程宕機(jī)而導(dǎo)致業(yè)務(wù)的中斷的大數(shù)據(jù)平臺(tái)去中心化的調(diào)度和執(zhí)行方法。

本發(fā)明的另一目的是提供一種大數(shù)據(jù)平臺(tái)去中心化的調(diào)度和執(zhí)行裝置。

技術(shù)方案：為了實(shí)現(xiàn)以上目的，一種大數(shù)據(jù)平臺(tái)去中心化的任務(wù)調(diào)度觸發(fā)和執(zhí)行方法，適用于分布式大數(shù)據(jù)平臺(tái)，包括步驟：

(1)若干個(gè)調(diào)度觸發(fā)模塊以進(jìn)程為單位分布在ZooKeeper集群中同時(shí)運(yùn)行，且彼此地位相同；

(2)調(diào)度觸發(fā)模塊將被調(diào)度大數(shù)據(jù)計(jì)算任務(wù)的META信息寫入ZooKeeper集群；

(3)任務(wù)執(zhí)行模塊以進(jìn)程為單位，分布在ZooKeeper集群多個(gè)ZNode節(jié)點(diǎn)中運(yùn)行，且彼此間地位相同；

(4)任務(wù)執(zhí)行模塊以計(jì)算任務(wù)的子過程為單位，從ZooKeeper的ZNode樹上進(jìn)行依次遍歷；當(dāng)發(fā)現(xiàn)某個(gè)子過程具備執(zhí)行條件時(shí)，在該任務(wù)的ZNode節(jié)點(diǎn)下添加臨時(shí)節(jié)點(diǎn)以鎖定該任務(wù)；

(5)從計(jì)算任務(wù)當(dāng)前子過程的上下文中獲取任務(wù)信息，執(zhí)行該任務(wù)，并將任務(wù)的子過程執(zhí)行結(jié)果和狀態(tài)信息寫入MySQL的任務(wù)歷史；同時(shí)任務(wù)執(zhí)行模塊需要同步等待該任務(wù)子過程的執(zhí)行直到完成或者異常退出；

(6)對(duì)于已經(jīng)完成的任務(wù)子過程或異常退出，任務(wù)執(zhí)行模塊釋放對(duì)于該任務(wù)ZNode節(jié)點(diǎn)的鎖定，并且判斷該子過程是否整個(gè)任務(wù)的最后一個(gè)子過程；如是則從ZooKeeper樹中刪除該任務(wù)的ZNode節(jié)點(diǎn)，表示該任務(wù)實(shí)例已經(jīng)完成或失敗執(zhí)行；

(7)用戶打開任務(wù)監(jiān)控模塊的前端UI，通過WebSocket協(xié)議建立后端WEB 模塊的連接；所述WEB模塊中通過ZooKeeper的Watcher監(jiān)聽器，實(shí)時(shí)掌控 ZooKeeper樹中記錄的所有任務(wù)的配置和狀態(tài)信息，通過WebSocket雙向通信協(xié)議主動(dòng)廣播推送到用戶前端UI。

所述的調(diào)度方法包括步驟：

(1)觸發(fā)器Trigger使用Quartz時(shí)鐘表達(dá)式對(duì)任一任務(wù)進(jìn)行自動(dòng)觸發(fā)，開始任務(wù)進(jìn)程；