[發(fā)明專利]一種基于大數(shù)據(jù)集的分布式執(zhí)行框架

在審

• 申請?zhí)枺?/td>: 202011347821.4
• 申請日: 2020-11-26
• 公開（公告）號: CN112579100A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 王小林;張晨輝
• 申請（專利權(quán)）人: 陜西天行健車聯(lián)網(wǎng)信息技術(shù)有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06F8/61
• 代理公司: 西安佳士成專利代理事務(wù)所合伙企業(yè)(普通合伙) 61243
• 代理人: 李丹

1.一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，采用分布式并行執(zhí)行，其特征在于，包括以下步驟：

步驟一、執(zhí)行啟動腳本將jar包分發(fā)到集群各個節(jié)點對應(yīng)目錄，且后臺執(zhí)行jar包；

步驟二、NodeManger負(fù)責(zé)維護(hù)各個集群節(jié)點Node的通訊響應(yīng)，分發(fā)的任務(wù)具體交給各自的Node處理；

步驟三、所述Node節(jié)點負(fù)責(zé)維護(hù)各自TaskManager，一個Node節(jié)點可以處理多個并行子任務(wù)Task，所述并行子任務(wù)Task的任務(wù)信息從數(shù)據(jù)庫裝載；

步驟四、所述并行子任務(wù)Task最終交由WorkerManager處理，一個Node節(jié)點下WorkerManager維護(hù)一個線程池，所述線程池的大小由用戶自定義，相對應(yīng)worker的數(shù)量，也就是對應(yīng)并行能力；

步驟五、所述Woker拿到Task任務(wù)信息后啟動TaskActuator按照裝載的任務(wù)分發(fā)策略執(zhí)行用戶自定義代碼塊，將結(jié)果數(shù)據(jù)集發(fā)送到hdfs，并將執(zhí)行狀態(tài)回寫到步驟三所述的數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，其特征在于，所述步驟三中的單個Node的并行度由用戶自定義，并行子任務(wù)Task可根據(jù)用戶需求進(jìn)行默認(rèn)分發(fā)策略或自定義分發(fā)策略。

3.根據(jù)權(quán)利要求2所述的一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，其特征在于，所述默認(rèn)分發(fā)策略包括按大小分發(fā)、按個數(shù)分發(fā)、單個分發(fā)、用戶自定義分發(fā)。

4.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，其特征在于，所述步驟二中單個Node節(jié)點的宕機(jī)不影響整個任務(wù)的進(jìn)度，NodeManage監(jiān)測到Node宕機(jī)將不會發(fā)送新的Task給宕機(jī)Node，直至Node上線。

5.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，其特征在于，所述步驟三中的數(shù)據(jù)庫為MySQL數(shù)據(jù)庫。

6.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，其特征在于，所述步驟四中的線程池為ThreadPoolExecutor線程池。