[發明專利]一種基于大數據集的分布式執行框架

在審

• 申請號: 202011347821.4
• 申請日: 2020-11-26
• 公開（公告）號: CN112579100A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 王小林;張晨輝
• 申請（專利權）人: 陜西天行健車聯網信息技術有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06F8/61
• 代理公司: 西安佳士成專利代理事務所合伙企業(普通合伙) 61243
• 代理人: 李丹

1.一種基于大數據集的分布式執行框架，采用分布式并行執行，其特征在于，包括以下步驟：

步驟一、執行啟動腳本將jar包分發到集群各個節點對應目錄，且后臺執行jar包；

步驟二、NodeManger負責維護各個集群節點Node的通訊響應，分發的任務具體交給各自的Node處理；

步驟三、所述Node節點負責維護各自TaskManager，一個Node節點可以處理多個并行子任務Task，所述并行子任務Task的任務信息從數據庫裝載；

步驟四、所述并行子任務Task最終交由WorkerManager處理，一個Node節點下WorkerManager維護一個線程池，所述線程池的大小由用戶自定義，相對應worker的數量，也就是對應并行能力；

步驟五、所述Woker拿到Task任務信息后啟動TaskActuator按照裝載的任務分發策略執行用戶自定義代碼塊，將結果數據集發送到hdfs，并將執行狀態回寫到步驟三所述的數據庫。

2.根據權利要求1所述的一種基于大數據集的分布式執行框架，其特征在于，所述步驟三中的單個Node的并行度由用戶自定義，并行子任務Task可根據用戶需求進行默認分發策略或自定義分發策略。

3.根據權利要求2所述的一種基于大數據集的分布式執行框架，其特征在于，所述默認分發策略包括按大小分發、按個數分發、單個分發、用戶自定義分發。

4.根據權利要求1所述的一種基于大數據集的分布式執行框架，其特征在于，所述步驟二中單個Node節點的宕機不影響整個任務的進度，NodeManage監測到Node宕機將不會發送新的Task給宕機Node，直至Node上線。

5.根據權利要求1所述的一種基于大數據集的分布式執行框架，其特征在于，所述步驟三中的數據庫為MySQL數據庫。

6.根據權利要求1所述的一種基于大數據集的分布式執行框架，其特征在于，所述步驟四中的線程池為ThreadPoolExecutor線程池。