[發明專利]一種主動式異構數據采集器

在審

• 申請號: 201910044812.9
• 申請日: 2019-01-17
• 公開（公告）號: CN109828947A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 劉建華;郭征寶;張軍平
• 申請（專利權）人: 東莞眾家聯供應鏈服務有限公司;東莞眾家聯網絡科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78
• 代理公司: 東莞市華南專利商標事務所有限公司 44215
• 代理人: 張明

1.一種主動式異構數據采集器，其特征在于：包括數據采集模塊、元數據處理器、數據寫入模塊和儲存單元，所述數據采集模塊與所述元數據處理器連接，所述數據寫入模塊與所述元數據處理器連接，所述數據寫入模塊與所述儲存單元連接，所述數據采集模塊用于采集數據庫的數據，所述元數據處理器用于將所述數據采集模塊采集的數據進行轉換處理，所述數據寫入模塊用于將所述元數據處理器轉換后的數據進行讀取，并將讀取的數據寫入儲存單元，所述數據采集模塊和所述數據寫入模塊均采用腳本配置，所述數據采集模塊包括多個plugin模塊。

2.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述數據采集模塊設置有字段解析模塊、第一語法解析模塊和數據過濾模塊，所述字段解析模塊、第一語法解析模塊均與所述數據過濾模塊連接。

3.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述數據寫入模塊設置有數據封裝模塊、第二語法解析模塊和數據脫敏保全過濾模塊，所述數據封裝模塊、第二語法解析模塊均與所述數據脫敏保全過濾模塊連接。

4.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述元數據處理器包括執行元件、流控控制元件、并發控制元件和數據轉換元件，所述執行元件、所述流控控制元件、所述并發控制元件和所述數據轉換元件依次連接，所述并發控制元件包括多個task單元和多個TaskGroup單元，所述TaskGroup單元用于啟動task單元，所述task單元用于數據同步。

5.根據權利要求4所述的一種主動式異構數據采集器，其特征在于：所述流控控制元件包括Scheduler模塊，所述Scheduler模塊用于調度所述TaskGroup單元。

6.根據權利要求4所述的一種主動式異構數據采集器，其特征在于：所述并發控制元件包括通道并發、記錄流、字節流三種流控模式。

7.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述儲存單元訪問需要賬號和密碼，且所述儲存單元可指定連接用戶讀寫指定所述儲存單元內儲存的數據庫表權限，所述數據寫入模塊還包括加密模塊，所述加密模塊用于將寫入所述儲存單元內部的數據進行加密儲存。

8.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述數據采集模塊采集數據庫時只需配置SOL或接入數據庫的表名、列表。

9.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述主動式異構數據采集器還包括監視模塊，所述監視模塊用于檢測主動式異構數據采集器的數據流量、數據速度和執行進度。

10.根據權利要求1所述的一種主動式異構數據采集器，其特征在于：所述主動式異構數據采集器還設置有自動轉換模塊，用戶可根據自動轉換模塊內部的groovy函數可自定義自動轉換模塊內部的轉換公式。