[發明專利]一種基于NiFi的數據采集方法

有效

• 申請號: 201811639608.3
• 申請日: 2018-12-29
• 公開（公告）號: CN109753502B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 曹志星;程林;楊培強
• 申請（專利權）人: 浪潮軟件科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

1.一種基于NiFi的數據采集方法，其特征在于，

主要分為5個步驟：

步驟一：分為抽取數據庫數據和讀取文件數據；

步驟二：將組裝的數據根據業務需求進行清洗；

步驟三：對數據根據轉換規則進行轉換，對于每一步的轉換都有日志文件可查詢轉換情況；

步驟四：對數據進行匹配;

步驟五：數據入庫操作，附帶去重功能，支持oracle、mysql數據庫；

所述抽取數據庫數據和讀取文件數據，

前一種讀取oracle聯機日志和歸檔日志增量抽取數據，根據oracle日志分析出所有的DML事件，按照順序組裝數據，拉取數據是使用批量的方式；

后一種是讀取文件，根據解析規則解析出數據，這里的拉取數據每批次固定數據量大?。?/p>

步驟2中，對于符合清洗規則的數據，允許數據流的向下流通，對于不符合清洗規則的數據會生成日志文件，具體的清洗規則根據業務需求所定，清洗規則可自由組合；

所述對數據進行匹配，匹配是指與另一張數據表根據匹配規則進行匹配，符合匹配要求的進行后續操作，對于不匹配的則不進行操作。

2.根據權利要求1所述的方法，其特征在于，

首先獲取數據來源，中間進行一系列的數據清洗、轉換和匹配，然后同步到目標數據庫。

3.根據權利要求2所述的方法，其特征在于，

其中數據抽取步驟一和入庫操作步驟五是必需的，中間的步驟二到步驟四根據業務需求自由組合，完成數據的清洗和加工。

4.根據權利要求3所述的方法，其特征在于，

對于非結構化數據，設計文件的解析、數據清洗、數據轉換和匹配。

5.根據權利要求4所述的方法，其特征在于，

對于這個整體流程，可以通過直接拖拽的形式，或選擇調用NiFi的接口，運用HTTP協議，傳送合適的報文數據，后臺會根據報文數據數據創建相應的Processor及其它組件，形成一個完成的流程；這時打開瀏覽器界面輸入相應地址訪問，就可看到已創建好的流程。