[發(fā)明專利]一種基于NiFi的大數(shù)據(jù)計(jì)算方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811092712.5
• 申請(qǐng)日: 2018-09-19
• 公開（公告）號(hào): CN109344189B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 楊貴檉;胡清;肖雪;王建華
• 申請(qǐng)（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

本發(fā)明提供了一種基于NiFi的大數(shù)據(jù)計(jì)算方法及裝置，該方法包括：確定若干Yarn隊(duì)列，各Yarn隊(duì)列上均運(yùn)行有Spark、MapReduce、BigSql中的任一計(jì)算組件；針對(duì)各Yarn隊(duì)列：開發(fā)針對(duì)當(dāng)前Yarn隊(duì)列的NiFi processor；接收外部上傳的用戶個(gè)人票據(jù)和當(dāng)前Yarn隊(duì)列上運(yùn)行的目標(biāo)計(jì)算組件可執(zhí)行的jar包；根據(jù)用戶個(gè)人票據(jù)判斷該用戶是否被賦予可執(zhí)行當(dāng)前Yarn隊(duì)列的權(quán)限，若是，在監(jiān)測(cè)到滿足當(dāng)前Yarn隊(duì)列的預(yù)設(shè)運(yùn)行條件時(shí)，通過NiFi processor調(diào)用目標(biāo)計(jì)算組件，執(zhí)行針對(duì)jar包的大數(shù)據(jù)計(jì)算任務(wù)。因此，本方案能夠同時(shí)支持?jǐn)?shù)據(jù)傳輸及數(shù)據(jù)計(jì)算的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種基于NiFi的大數(shù)據(jù)計(jì)算方法及裝置。

背景技術(shù)

現(xiàn)在的社會(huì)是一個(gè)高速發(fā)展的社會(huì)，科技發(fā)達(dá)，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。大數(shù)據(jù)是如此重要，以至于其數(shù)據(jù)采集、儲(chǔ)存、搜索、共享、分析，乃至可視化地呈現(xiàn)，都成為了當(dāng)前重要的研究課題。其中，數(shù)據(jù)采集是一切大數(shù)據(jù)應(yīng)用的開始和前提。

然而如今的社會(huì)需求并不只僅僅滿足于大數(shù)據(jù)的抽取、傳輸?shù)龋F(xiàn)代社會(huì)需要的是信息，是從大數(shù)據(jù)中提取出對(duì)自己有用的用戶需求信息。這就需要我們要從龐大數(shù)據(jù)中通過篩選來進(jìn)行統(tǒng)計(jì)、計(jì)算，以獲取所需數(shù)據(jù)信息。但是，傳統(tǒng)的方案或產(chǎn)品并不能同時(shí)支持?jǐn)?shù)據(jù)傳輸及數(shù)據(jù)計(jì)算的需求。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于NiFi的大數(shù)據(jù)計(jì)算方法及裝置，能夠同時(shí)支持?jǐn)?shù)據(jù)傳輸及數(shù)據(jù)計(jì)算的需求。

為了達(dá)到上述目的，本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的：

一方面，本發(fā)明提供了一種基于NiFi的大數(shù)據(jù)計(jì)算方法，包括：

確定至少一個(gè)Yarn隊(duì)列，每一個(gè)所述Yarn隊(duì)列上均運(yùn)行有Spark、MapReduce、BigSql中的任意一種計(jì)算組件；

針對(duì)每一個(gè)所述Yarn隊(duì)列均執(zhí)行：開發(fā)針對(duì)當(dāng)前Yarn隊(duì)列的NiFi processor；

接收外部上傳的用戶個(gè)人票據(jù)和所述當(dāng)前Yarn隊(duì)列上運(yùn)行的目標(biāo)計(jì)算組件可執(zhí)行的jar(Java Archive，Java歸檔文件)包；

根據(jù)所述用戶個(gè)人票據(jù)，判斷持有所述用戶個(gè)人票據(jù)的用戶是否被賦予可執(zhí)行所述當(dāng)前Yarn隊(duì)列的權(quán)限，若是，在監(jiān)測(cè)到滿足所述當(dāng)前Yarn隊(duì)列的預(yù)設(shè)運(yùn)行條件時(shí)，通過所述NiFi processor調(diào)用所述目標(biāo)計(jì)算組件，執(zhí)行針對(duì)所述jar包的大數(shù)據(jù)計(jì)算任務(wù)。

進(jìn)一步地，所述目標(biāo)計(jì)算組件為所述Spark或所述MapReduce；

該方法進(jìn)一步包括：設(shè)置所述預(yù)設(shè)運(yùn)行條件，其中，所述NiFi processor有上游連接時(shí)，所述預(yù)設(shè)運(yùn)行條件包括所述NiFi processor的上游連接結(jié)束執(zhí)行，以及，所述NiFiprocessor無上游連接時(shí)，所述預(yù)設(shè)運(yùn)行條件包括達(dá)到設(shè)定的定時(shí)調(diào)度時(shí)間；

所述通過所述NiFi processor調(diào)用所述目標(biāo)計(jì)算組件，執(zhí)行針對(duì)所述jar包的大數(shù)據(jù)計(jì)算任務(wù)，包括：將所述用戶個(gè)人票據(jù)和所述jar包，拷貝到裝有所述目標(biāo)計(jì)算組件的客戶端的服務(wù)器上；拼裝執(zhí)行命令，通過所述NiFi processor連接所述服務(wù)器，經(jīng)執(zhí)行所述執(zhí)行命令以執(zhí)行針對(duì)所述jar包的大數(shù)據(jù)計(jì)算任務(wù)。

進(jìn)一步地，所述執(zhí)行針對(duì)所述jar包的大數(shù)據(jù)計(jì)算任務(wù)，包括：判斷所述大數(shù)據(jù)計(jì)算任務(wù)是否正常提交到所述當(dāng)前Yarn隊(duì)列，若是，記錄所述大數(shù)據(jù)計(jì)算任務(wù)在所述當(dāng)前Yarn隊(duì)列中的applicationId(應(yīng)用唯一標(biāo)識(shí))，否則，執(zhí)行報(bào)錯(cuò)并記錄狀態(tài)，停止所述NiFiprocessor，結(jié)束當(dāng)前流程；

周期性監(jiān)控所述applicationId的運(yùn)行狀態(tài)；