[發(fā)明專利]一種主動式異構(gòu)數(shù)據(jù)采集器

在審

• 申請?zhí)枺?/td>: 201910044812.9
• 申請日: 2019-01-17
• 公開（公告）號: CN109828947A
• 公開（公告）日: 2019-05-31
• 發(fā)明（設(shè)計）人: 劉建華;郭征寶;張軍平
• 申請（專利權(quán)）人: 東莞眾家聯(lián)供應(yīng)鏈服務(wù)有限公司;東莞眾家聯(lián)網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78
• 代理公司: 東莞市華南專利商標(biāo)事務(wù)所有限公司 44215
• 代理人: 張明

1.一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：包括數(shù)據(jù)采集模塊、元數(shù)據(jù)處理器、數(shù)據(jù)寫入模塊和儲存單元，所述數(shù)據(jù)采集模塊與所述元數(shù)據(jù)處理器連接，所述數(shù)據(jù)寫入模塊與所述元數(shù)據(jù)處理器連接，所述數(shù)據(jù)寫入模塊與所述儲存單元連接，所述數(shù)據(jù)采集模塊用于采集數(shù)據(jù)庫的數(shù)據(jù)，所述元數(shù)據(jù)處理器用于將所述數(shù)據(jù)采集模塊采集的數(shù)據(jù)進行轉(zhuǎn)換處理，所述數(shù)據(jù)寫入模塊用于將所述元數(shù)據(jù)處理器轉(zhuǎn)換后的數(shù)據(jù)進行讀取，并將讀取的數(shù)據(jù)寫入儲存單元，所述數(shù)據(jù)采集模塊和所述數(shù)據(jù)寫入模塊均采用腳本配置，所述數(shù)據(jù)采集模塊包括多個plugin模塊。

2.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述數(shù)據(jù)采集模塊設(shè)置有字段解析模塊、第一語法解析模塊和數(shù)據(jù)過濾模塊，所述字段解析模塊、第一語法解析模塊均與所述數(shù)據(jù)過濾模塊連接。

3.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述數(shù)據(jù)寫入模塊設(shè)置有數(shù)據(jù)封裝模塊、第二語法解析模塊和數(shù)據(jù)脫敏保全過濾模塊，所述數(shù)據(jù)封裝模塊、第二語法解析模塊均與所述數(shù)據(jù)脫敏保全過濾模塊連接。

4.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述元數(shù)據(jù)處理器包括執(zhí)行元件、流控控制元件、并發(fā)控制元件和數(shù)據(jù)轉(zhuǎn)換元件，所述執(zhí)行元件、所述流控控制元件、所述并發(fā)控制元件和所述數(shù)據(jù)轉(zhuǎn)換元件依次連接，所述并發(fā)控制元件包括多個task單元和多個TaskGroup單元，所述TaskGroup單元用于啟動task單元，所述task單元用于數(shù)據(jù)同步。

5.根據(jù)權(quán)利要求4所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述流控控制元件包括Scheduler模塊，所述Scheduler模塊用于調(diào)度所述TaskGroup單元。

6.根據(jù)權(quán)利要求4所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述并發(fā)控制元件包括通道并發(fā)、記錄流、字節(jié)流三種流控模式。

7.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述儲存單元訪問需要賬號和密碼，且所述儲存單元可指定連接用戶讀寫指定所述儲存單元內(nèi)儲存的數(shù)據(jù)庫表權(quán)限，所述數(shù)據(jù)寫入模塊還包括加密模塊，所述加密模塊用于將寫入所述儲存單元內(nèi)部的數(shù)據(jù)進行加密儲存。

8.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述數(shù)據(jù)采集模塊采集數(shù)據(jù)庫時只需配置SOL或接入數(shù)據(jù)庫的表名、列表。

9.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述主動式異構(gòu)數(shù)據(jù)采集器還包括監(jiān)視模塊，所述監(jiān)視模塊用于檢測主動式異構(gòu)數(shù)據(jù)采集器的數(shù)據(jù)流量、數(shù)據(jù)速度和執(zhí)行進度。

10.根據(jù)權(quán)利要求1所述的一種主動式異構(gòu)數(shù)據(jù)采集器，其特征在于：所述主動式異構(gòu)數(shù)據(jù)采集器還設(shè)置有自動轉(zhuǎn)換模塊，用戶可根據(jù)自動轉(zhuǎn)換模塊內(nèi)部的groovy函數(shù)可自定義自動轉(zhuǎn)換模塊內(nèi)部的轉(zhuǎn)換公式。