[發(fā)明專利]一種基于NiFi的大數(shù)據(jù)計算方法及裝置

有效

• 申請?zhí)枺?/td>: 201811092712.5
• 申請日: 2018-09-19
• 公開（公告）號: CN109344189B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計）人: 楊貴檉;胡清;肖雪;王建華
• 申請（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種基于NiFi的大數(shù)據(jù)計算方法，其特征在于，包括：

確定至少一個Yarn隊列，每一個所述Yarn隊列上均運行有Spark、MapReduce、BigSql中的任意一種計算組件；

針對每一個所述Yarn隊列均執(zhí)行：開發(fā)針對當前Yarn隊列的NiFi processor；

接收外部上傳的用戶個人票據(jù)和所述當前Yarn隊列上運行的目標計算組件可執(zhí)行的Java歸檔文件jar包；

根據(jù)所述用戶個人票據(jù)，判斷持有所述用戶個人票據(jù)的用戶是否被賦予可執(zhí)行所述當前Yarn隊列的權(quán)限，若是，

如果當前Yarn隊列上運行的計算組件為Spark或MapReduce，在監(jiān)測到滿足所述當前Yarn隊列的預設(shè)運行條件時，通過所述NiFi processor調(diào)用所述目標計算組件，執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務；

如果當前Yarn隊列上運行的計算組件為BigSql時，通過所述NiFi processor調(diào)用所述目標計算組件，執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述目標計算組件為所述Spark或所述MapReduce；

進一步包括：設(shè)置所述預設(shè)運行條件，其中，所述NiFi processor有上游連接時，所述預設(shè)運行條件包括所述NiFi processor的上游連接結(jié)束執(zhí)行，以及，所述NiFi processor無上游連接時，所述預設(shè)運行條件包括達到設(shè)定的定時調(diào)度時間；

所述通過所述NiFi processor調(diào)用所述目標計算組件，執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務，包括：將所述用戶個人票據(jù)和所述jar包，拷貝到裝有所述目標計算組件的客戶端的服務器上；拼裝執(zhí)行命令，通過所述NiFi processor連接所述服務器，經(jīng)執(zhí)行所述執(zhí)行命令以執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務，包括：判斷所述大數(shù)據(jù)計算任務是否正常提交到所述當前Yarn隊列，若是，記錄所述大數(shù)據(jù)計算任務在所述當前Yarn隊列中的應用唯一標識applicationId，否則，執(zhí)行報錯并記錄狀態(tài)，停止所述NiFi processor，結(jié)束當前流程；

周期性監(jiān)控所述applicationId的運行狀態(tài)；

在監(jiān)控到強制結(jié)束命令時，通過執(zhí)行kill命令以停止所述NiFi processor；

在監(jiān)測到所述applicationId的運行狀態(tài)為正常運行結(jié)束時，停止所述NiFiprocessor。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述目標計算組件為所述BigSql；

所述通過所述NiFi processor調(diào)用所述目標計算組件，執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務，包括：通過所述NiFi processor調(diào)用BigSql，連接所述當前Yarn隊列上運行的Spark ThriftServer，執(zhí)行加載的結(jié)構(gòu)化查詢語言SQL，以執(zhí)行針對所述jar包的大數(shù)據(jù)計算任務。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，

所述大數(shù)據(jù)計算任務的數(shù)據(jù)源包括Oracle、Mysql、Hive、Hbase、Hadoop分布式文件系統(tǒng)HDFS中的任意一種。