[發明專利]一種大數據平臺去中心化的調度和執行方法、裝置

有效

• 申請號: 202011631395.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112822250B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 王晟
• 申請（專利權）人: 鯨靈科技有限責任公司
• 主分類號: H04L67/60
• 分類號: H04L67/60;H04L67/62;H04L67/10;H04L67/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 吳靜波

1.一種大數據平臺去中心化的調度和執行方法，適用于分布式大數據平臺，其特征在于：包括以下步驟：

步驟1：觸發器Trigger使用Quartz時鐘表達式對任一任務進行自動觸發，開始任務進程；

步驟2：觸發器Trigger管理模塊定時將MySQL庫中持久化且Quartz時鐘表達式為合法的觸發器Trigger實例信息寫入ZooKeeper集群，每個觸發器Trigger實例占用一個ZNode節點；

步驟3：若干個調度觸發模塊以進程為單位分布在ZooKeeper集群中同時運行，且彼此地位相同；

步驟4：調度觸發模塊從ZooKeeper集群中遍歷每一觸發器Trigger定義的ZNode節點，并通過ZooKeeper提供的分布式鎖進行操作；

步驟5：各個調度觸發模塊進程按照步驟4，將ZooKeeper集群中的所有觸發任務依次予以啟動；任一調度觸發模塊宕機后，當前調度模塊所寫在ZooKeeper集群中的臨時ZNode自動失效，釋放其所在Trigger定義的控制權；被釋放的觸發器Trigger定義，被剩余的各調度觸發模塊依次予以Quartz服務實例化啟動；

步驟6：調度觸發模塊將被調度大數據計算任務的META信息寫入ZooKeeper集群；

步驟7：任務執行模塊以進程為單位，分布在ZooKeeper集群多個ZNode節點中運行，且彼此間地位相同；

步驟8：任務執行模塊以計算任務的子過程為單位，從ZooKeeper的ZNode樹上進行依次遍歷；當發現某個子過程具備執行條件時，在該任務的ZNode節點下添加臨時節點以鎖定該任務；

步驟9：從計算任務當前子過程的上下文中獲取任務信息，執行該任務，并將任務的子過程執行結果和狀態信息寫入MySQL的任務歷史；同時任務執行模塊需要同步等待該任務子過程的執行直到完成或者異常退出；

步驟10：對于已經完成的任務子過程或異常退出，任務執行模塊釋放對于該任務ZNode節點的鎖定，并且判斷該子過程是否整個任務的最后一個子過程；如是則從ZooKeeper樹中刪除該任務的ZNode節點，表示該任務實例已經完成或失敗執行；

步驟11：用戶打開任務監控模塊的前端UI，通過WebSocket協議建立后端WEB模塊的連接；所述WEB模塊中通過ZooKeeper的Watcher監聽器，實時掌控ZooKeeper樹中記錄的所有任務的配置和狀態信息，通過WebSocket雙向通信協議主動廣播推送到用戶前端UI。

2.根據權利要求1所述的一種大數據平臺去中心化的調度和執行方法，其特征在于：在步驟4中，若ZNode節點尚未建立Quartz服務，則根據時鐘表達式和任務參數創建Quartz服務實例，并且將所述服務實例的信息以臨時ZNode的形式配置再該ZNode之下；操作完成后再次進入遍歷Trigger ZNode的操作。

3.根據權利要求1所述的一種大數據平臺去中心化的調度和執行方法，其特征在于：所述觸發器實例的定義由觸發器管理模塊在MySQL中進行持久化。

4.根據權利要求1所述的一種大數據平臺去中心化的調度和執行方法，其特征在于：在步驟6中，調度觸發模塊將被調度大數據計算任務的執行狀態、任務啟動時間和下一個子過程ID動態信息寫入ZooKeeper集群。

5.根據權利要求1所述的一種大數據平臺去中心化的調度和執行方法，其特征在于：在步驟8中，子過程執行上下文信息存儲在ZooKeeper樹上。

6.根據權利要求1所述的一種大數據平臺去中心化的調度和執行方法，其特征在于：在步驟9中，任務信息包括指定某個Spark任務或者一段SQL或者Scala或者Python腳本。