[發(fā)明專利]一種基于NIFI的終端大數(shù)據(jù)分發(fā)方法、存儲(chǔ)介質(zhì)及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110142445.3
• 申請(qǐng)日: 2021-02-02
• 公開（公告）號(hào): CN112883110A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 王玉勝
• 申請(qǐng)（專利權(quán)）人: 山東立信特信息技術(shù)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/2455
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供一種基于NIFI的終端大數(shù)據(jù)分發(fā)方法、存儲(chǔ)介質(zhì)及系統(tǒng)，其中的方法包括：從一個(gè)數(shù)據(jù)源中獲取數(shù)據(jù)，根據(jù)NIFI數(shù)據(jù)轉(zhuǎn)換模型對(duì)所述數(shù)據(jù)進(jìn)行解析，得到與其他數(shù)據(jù)源格式需求匹配的標(biāo)準(zhǔn)格式數(shù)據(jù)，將標(biāo)準(zhǔn)格式數(shù)據(jù)分別發(fā)送至對(duì)應(yīng)格式需求的數(shù)據(jù)源進(jìn)行存儲(chǔ)；建立多個(gè)數(shù)據(jù)處理模型，將不同數(shù)據(jù)源中的數(shù)據(jù)分別處理為適于不同終端需求的目標(biāo)格式數(shù)據(jù)；將需求頻率大于設(shè)定頻率的目標(biāo)格式數(shù)據(jù)進(jìn)行關(guān)系化數(shù)據(jù)入庫，進(jìn)行分布式集群部署；依據(jù)終端需求將目標(biāo)格式數(shù)據(jù)分發(fā)至對(duì)應(yīng)的目標(biāo)終端。本發(fā)明能提高終端數(shù)據(jù)分發(fā)過程中的準(zhǔn)確性和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于NIFI的終端大數(shù)據(jù)分發(fā)方法、存儲(chǔ)介質(zhì)及系統(tǒng)。

背景技術(shù)

NIFI是基于可視化流程設(shè)計(jì)的數(shù)據(jù)分發(fā)平臺(tái)，是大數(shù)據(jù)的搬運(yùn)、提取、推送、轉(zhuǎn)換、聚合、分發(fā)的開源軟件工具，能夠與Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)存儲(chǔ)和各種文件、REST服務(wù)、SOAP服務(wù)、消息服務(wù)等聯(lián)合使用，構(gòu)成一體化的數(shù)據(jù)流服務(wù)。

目前對(duì)于終端數(shù)據(jù)分發(fā)只是簡(jiǎn)單的數(shù)據(jù)傳遞保證數(shù)據(jù)輸送到終端，但是數(shù)據(jù)分發(fā)效率和準(zhǔn)確度還有待提升。

發(fā)明內(nèi)容

本發(fā)明旨在提供一種基于NIFI的終端大數(shù)據(jù)分發(fā)方法、存儲(chǔ)介質(zhì)及系統(tǒng)，以解決現(xiàn)有技術(shù)中終端數(shù)據(jù)分發(fā)時(shí)效率和準(zhǔn)確率低的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明一些實(shí)施例中提供一種基于NIFI的終端大數(shù)據(jù)分發(fā)方法，包括如下步驟：

從一個(gè)數(shù)據(jù)源中獲取數(shù)據(jù)，根據(jù)NIFI數(shù)據(jù)轉(zhuǎn)換模型對(duì)所述數(shù)據(jù)進(jìn)行解析，得到與其他數(shù)據(jù)源格式需求匹配的標(biāo)準(zhǔn)格式數(shù)據(jù)，將標(biāo)準(zhǔn)格式數(shù)據(jù)分別發(fā)送至對(duì)應(yīng)格式需求的數(shù)據(jù)源進(jìn)行存儲(chǔ)；

建立多個(gè)數(shù)據(jù)處理模型，將不同數(shù)據(jù)源中的數(shù)據(jù)分別處理為適于不同終端需求的目標(biāo)格式數(shù)據(jù)；

將需求頻率大于設(shè)定頻率的目標(biāo)格式數(shù)據(jù)進(jìn)行關(guān)系化數(shù)據(jù)入庫，進(jìn)行分布式集群部署；

依據(jù)終端需求將目標(biāo)格式數(shù)據(jù)分發(fā)至對(duì)應(yīng)的目標(biāo)終端。

可選地，上述的基于NIFI的終端大數(shù)據(jù)分發(fā)方法中，還包括如下步驟：

跟蹤目標(biāo)格式數(shù)據(jù)分發(fā)狀態(tài)，根據(jù)所述目標(biāo)格式數(shù)據(jù)分發(fā)狀態(tài)對(duì)各終端進(jìn)行流量控制和調(diào)整。

可選地，上述的基于NIFI的終端大數(shù)據(jù)分發(fā)方法中，依據(jù)終端需求將目標(biāo)格式數(shù)據(jù)分發(fā)至對(duì)應(yīng)的目標(biāo)終端的步驟中：

采用長連接方式將目標(biāo)格式數(shù)據(jù)分發(fā)至對(duì)應(yīng)的目標(biāo)終端。

可選地，上述的基于NIFI的終端大數(shù)據(jù)分發(fā)方法中，建立多個(gè)數(shù)據(jù)處理模型，將不同數(shù)據(jù)源中的數(shù)據(jù)分別處理為適于不同終端需求的目標(biāo)格式數(shù)據(jù)的步驟中，數(shù)據(jù)處理模型包括：

CollectProcessor模塊：通過sftp方式獲取所述數(shù)據(jù)；

TaskConfigProcessor模塊：將所述數(shù)據(jù)轉(zhuǎn)為數(shù)據(jù)流；

GetFeatureProcessor模塊：接收TaskConfigProcessor模塊發(fā)送的數(shù)據(jù)流，創(chuàng)建SDE連接，得到圖層要素?cái)?shù)和最大ObjectID，并寫入數(shù)據(jù)流中；

LayerBlockProcessor模塊：接收GetFeatureProcessor模塊發(fā)送的數(shù)據(jù)流，根據(jù)配置將其拆分成多個(gè)任務(wù)數(shù)據(jù)流；

KafkaPublish模塊：接收LayerBlockProcessor模塊寫入的任務(wù)數(shù)據(jù)流；

KafkaConsumer模塊：接收KafkaPublish模塊分發(fā)的部分或全部數(shù)據(jù)流并運(yùn)行任務(wù)；