[發明專利]一種基于NIFI的終端大數據分發方法、存儲介質及系統

在審

• 申請號: 202110142445.3
• 申請日: 2021-02-02
• 公開（公告）號: CN112883110A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 王玉勝
• 申請（專利權）人: 山東立信特信息技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于NIFI的終端大數據分發方法，其特征在于，包括如下步驟：

從一個數據源中獲取數據，根據NIFI數據轉換模型對所述數據進行解析，得到與其他數據源格式需求匹配的標準格式數據，將標準格式數據分別發送至對應格式需求的數據源進行存儲；

建立多個數據處理模型，將不同數據源中的數據分別處理為適于不同終端需求的目標格式數據；

將需求頻率大于設定頻率的目標格式數據進行關系化數據入庫，進行分布式集群部署；

依據終端需求將目標格式數據分發至對應的目標終端。

2.根據權利要求1所述的基于NIFI的終端大數據分發方法，其特征在于，還包括如下步驟：

跟蹤目標格式數據分發狀態，根據所述目標格式數據分發狀態對各終端進行流量控制和調整。

3.根據權利要求1所述的基于NIFI的終端大數據分發方法，其特征在于，依據終端需求將目標格式數據分發至對應的目標終端的步驟中：

采用長連接方式將目標格式數據分發至對應的目標終端。

4.根據權利要求1-3任一項所述的基于NIFI的終端大數據分發方法，其特征在于，建立多個數據處理模型，將不同數據源中的數據分別處理為適于不同終端需求的目標格式數據的步驟中，數據處理模型包括：

CollectProcessor模塊：通過sftp方式獲取所述數據；

TaskConfigProcessor模塊：將所述數據轉為數據流；

GetFeatureProcessor模塊：接收TaskConfigProcessor模塊發送的數據流，創建SDE連接，得到圖層要素數和最大ObjectID，并寫入數據流中；

LayerBlockProcessor模塊：接收GetFeatureProcessor模塊發送的數據流，根據配置將其拆分成多個任務數據流；

KafkaPublish模塊：接收LayerBlockProcessor模塊寫入的任務數據流；

KafkaConsumer模塊：接收KafkaPublish模塊分發的部分或全部數據流并運行任務；

SdeToShpProcessor模塊：接收KafkaPublish模塊分發的部分或全部數據流并運行任務。

5.根據權利要求4所述的基于NIFI的終端大數據分發方法，其特征在于：

KafkaConsumer模塊和SdeToShpProcessor模塊運行于集群的主節點上；其中：

集群中的所有節點單線運行KafkaConsumer模塊；

集群中的所有節點并發運行SdeToShpProcessor模塊。

6.根據權利要求5所述的基于NIFI的終端大數據分發方法，其特征在于：

不同模塊之間的數據流傳輸以flowfile方式進行。

7.根據權利要求1-3任一項所述的基于NIFI的終端大數據分發方法，其特征在于，從一個數據源中獲取數據，根據NIFI數據轉換模型對所述數據進行解析，得到與其他數據源格式需求匹配的標準格式數據，將標準格式數據分別發送至對應格式需求的數據源進行存儲的步驟中：

從一個數據源中獲取數據后，還包括對數據進行清洗的步驟。

8.根據權利要求7所述的基于NIFI的終端大數據分發方法，其特征在于：

通過數據倉庫技術工具kettle執行數據清洗步驟。

9.一種存儲介質，其特征在于，在所述存儲介質中存儲有程序信息，計算機讀取所述程序信息后執行權利要求1-8任一項所述的基于NIFI的終端大數據分發方法。

10.一種基于NIFI的終端大數據分發系統，其特征在于，包括至少一個處理器和至少一個存儲器，至少一個所述存儲器中存儲有程序信息，至少一個所述處理器讀取所述程序信息后執行權利要求1-8任一項所述的基于NIFI的終端大數據分發方法。