[發(fā)明專利]一種基于大數(shù)據(jù)集的分布式執(zhí)行框架

在審

• 申請?zhí)枺?/td>: 202011347821.4
• 申請日: 2020-11-26
• 公開（公告）號: CN112579100A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 王小林;張晨輝
• 申請（專利權(quán)）人: 陜西天行健車聯(lián)網(wǎng)信息技術(shù)有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06F8/61
• 代理公司: 西安佳士成專利代理事務(wù)所合伙企業(yè)(普通合伙) 61243
• 代理人: 李丹

本發(fā)明屬于車聯(lián)網(wǎng)技術(shù)領(lǐng)域，涉及一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，采用分布式并行執(zhí)行，包括以下步驟：步驟一、執(zhí)行啟動腳本將jar包分發(fā)到集群各個節(jié)點對應(yīng)目錄；步驟二、NodeManger負責維護各個集群節(jié)點Node的通訊響應(yīng)，分發(fā)的任務(wù)具體交給各自的Node處理；步驟三、Node節(jié)點負責維護各自TaskManager，一個節(jié)點可以處理多個并行任務(wù)；步驟四、Task任務(wù)最終交由WorkerManager處理，一個Node節(jié)點下WorkerManager維護一個線程池；步驟五、Woker拿到Task任務(wù)信息后啟動TaskActuator執(zhí)行用戶自定義代碼塊，將結(jié)果數(shù)據(jù)集發(fā)送到hdfs，并將執(zhí)行狀態(tài)回寫到數(shù)據(jù)庫；本發(fā)明解決了日益增長的車聯(lián)網(wǎng)數(shù)據(jù)量與主流技術(shù)框架及內(nèi)部業(yè)務(wù)結(jié)合處理能力不足之間的矛盾。

技術(shù)領(lǐng)域

本發(fā)明屬于車聯(lián)網(wǎng)技術(shù)領(lǐng)域，涉及一種基于大數(shù)據(jù)集的分布式執(zhí)行框架。

背景技術(shù)

車聯(lián)網(wǎng)即車輛物聯(lián)網(wǎng)，是以行駛中的車輛為信息感知對象，借助新一代信息通信技術(shù)，實現(xiàn)車與車、車與人、車與路、車與服務(wù)平臺之間的網(wǎng)絡(luò)連接，提升車輛整體的智能駕駛水平，為用戶提供安全、舒適、智能、高效的駕駛感受與交通服務(wù)，同時提高交通運行效率，提升社會交通服務(wù)的智能化水平。車聯(lián)網(wǎng)通過車載設(shè)備以及無線通信技術(shù)，對信息網(wǎng)絡(luò)平臺中的所有車輛動態(tài)信息進行有效利用，在車輛運行中提供不同的功能服務(wù)。車聯(lián)網(wǎng)能夠利用傳感技術(shù)感知車輛的實時狀態(tài)信息，并借助無線通信網(wǎng)絡(luò)與現(xiàn)代智能信息處理技術(shù)實現(xiàn)交通的智能化管理，以及交通信息服務(wù)的智能決策和車輛的智能化控制。

伴隨著車聯(lián)網(wǎng)的蓬勃發(fā)展，越來越多的車輛開始并入車聯(lián)網(wǎng)，隨著車聯(lián)網(wǎng)內(nèi)車輛數(shù)量的急劇擴增，車輛行車數(shù)據(jù)也日益龐大，在車輛行車數(shù)據(jù)日益急劇增長的前提下，基于現(xiàn)有主流技術(shù)框架與內(nèi)部業(yè)務(wù)結(jié)合處理已經(jīng)遠遠不能滿足現(xiàn)有的車輛數(shù)據(jù)日益增長的高效性、準確性、分布可靠性以及為提供上層業(yè)務(wù)使用加工展示的迫切需求。因此，急需一種新的執(zhí)行框架，能夠突破現(xiàn)有框架瓶頸提供服務(wù)于集團型的龐大數(shù)據(jù)的需求，即一種高性能輕量化的框架，以解決日益增長的車聯(lián)網(wǎng)數(shù)據(jù)量與主流技術(shù)框架及內(nèi)部業(yè)務(wù)結(jié)合處理能力不足之間的矛盾。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，框架致力大數(shù)據(jù)分布式并行領(lǐng)域，框架輕量、設(shè)計精良，執(zhí)行效率較當前單機程序、MapReduce框架等在現(xiàn)有應(yīng)用性能提高十幾倍，且操作簡便、硬件利用率高、可靠性強。

本發(fā)明解決技術(shù)問題所采取的技術(shù)方案是：一種基于大數(shù)據(jù)集的分布式執(zhí)行框架，采用分布式并行執(zhí)行，包括以下步驟：

步驟一、執(zhí)行啟動腳本將jar包分發(fā)到集群各個節(jié)點對應(yīng)目錄，且后臺執(zhí)行jar包；

步驟二、NodeManger負責維護各個集群節(jié)點Node的通訊響應(yīng)，分發(fā)的任務(wù)具體交給各自的Node處理；

步驟三、所述Node節(jié)點負責維護各自TaskManager，一個Node節(jié)點可以處理多個并行子任務(wù)Task，所述并行子任務(wù)Task的任務(wù)信息從數(shù)據(jù)庫裝載；

步驟四、所述并行子任務(wù)Task最終交由WorkerManager處理，一個Node節(jié)點下WorkerManager維護一個線程池，所述線程池的大小由用戶自定義，相對應(yīng)worker的數(shù)量，也就是對應(yīng)并行能力；

步驟五、所述Woker拿到Task任務(wù)信息后啟動TaskActuator按照裝載的任務(wù)分發(fā)策略執(zhí)行用戶自定義代碼塊，將結(jié)果數(shù)據(jù)集發(fā)送到hdfs，并將執(zhí)行狀態(tài)回寫到步驟三所述的數(shù)據(jù)庫。

優(yōu)選的，所述步驟三中的單個Node的并行度由用戶自定義，并行子任務(wù)Task可根據(jù)用戶需求進行默認分發(fā)策略或自定義分發(fā)策略。

更優(yōu)的，默認分發(fā)策略包括按大小分發(fā)、按個數(shù)分發(fā)、單個分發(fā)、用戶自定義分發(fā)。