[發(fā)明專利]一種主動式異構(gòu)數(shù)據(jù)采集器

在審

• 申請?zhí)枺?/td>: 201910044812.9
• 申請日: 2019-01-17
• 公開（公告）號: CN109828947A
• 公開（公告）日: 2019-05-31
• 發(fā)明（設(shè)計）人: 劉建華;郭征寶;張軍平
• 申請（專利權(quán)）人: 東莞眾家聯(lián)供應(yīng)鏈服務(wù)有限公司;東莞眾家聯(lián)網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78
• 代理公司: 東莞市華南專利商標(biāo)事務(wù)所有限公司 44215
• 代理人: 張明

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其是指一種主動式異構(gòu)數(shù)據(jù)采集器，將需要采集數(shù)據(jù)的數(shù)據(jù)庫接入至本主動式異構(gòu)數(shù)據(jù)采集器，數(shù)據(jù)采集模塊和數(shù)據(jù)寫入模塊均采用腳本配置，通過腳本配置可適配不同的數(shù)據(jù)庫，本發(fā)明的數(shù)據(jù)采集模塊包括多個plugin模塊，多個plugin模塊可適配不同的數(shù)據(jù)庫實現(xiàn)不同數(shù)據(jù)庫之間的無縫連接，本發(fā)明的元數(shù)據(jù)處理器用于連接數(shù)據(jù)采集模塊和數(shù)據(jù)寫入模塊，本發(fā)明可實現(xiàn)對不同的數(shù)據(jù)庫進行采集，無需人為的進行數(shù)據(jù)關(guān)聯(lián)即可對不同的數(shù)據(jù)庫進行數(shù)據(jù)采集，數(shù)據(jù)寫入模塊可立即將轉(zhuǎn)換之后的數(shù)據(jù)進行讀取并寫入儲存單元內(nèi)，不會占用元數(shù)據(jù)處理器的內(nèi)存，使得元數(shù)據(jù)處理器可快速的處理數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集技術(shù)領(lǐng)域，尤其是指一種主動式異構(gòu)數(shù)據(jù)采集器。

背景技術(shù)

隨著企業(yè)信息化建設(shè)的過程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其他經(jīng)濟、人為等因素的影響，導(dǎo)致企業(yè)在發(fā)展的過程中積累了大量采用不同儲存方式的數(shù)據(jù)，并且各個數(shù)據(jù)庫讀取數(shù)據(jù)采用不同的方式，導(dǎo)致智能設(shè)備無法正常準(zhǔn)確的采集數(shù)據(jù)，因此亟需一種能夠?qū)崿F(xiàn)在不同數(shù)據(jù)庫采集數(shù)據(jù)的采集器。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的問題提供一種可在不同數(shù)據(jù)采集數(shù)據(jù)的主動式異構(gòu)數(shù)據(jù)采集器。

為了解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

本發(fā)明提供的一種主動式異構(gòu)數(shù)據(jù)采集器，包括數(shù)據(jù)采集模塊、元數(shù)據(jù)處理器、數(shù)據(jù)寫入模塊和儲存單元，所述數(shù)據(jù)采集模塊與所述元數(shù)據(jù)處理器連接，所述數(shù)據(jù)寫入模塊與所述元數(shù)據(jù)處理器連接，所述數(shù)據(jù)寫入模塊與所述儲存單元連接，所述數(shù)據(jù)采集模塊用于采集數(shù)據(jù)庫的數(shù)據(jù)，所述元數(shù)據(jù)處理器用于將所述數(shù)據(jù)采集模塊采集的數(shù)據(jù)進行轉(zhuǎn)換處理，所述數(shù)據(jù)寫入模塊用于將所述元數(shù)據(jù)處理器轉(zhuǎn)換的數(shù)據(jù)進行讀取，并將讀取的數(shù)據(jù)寫入儲存單元，所述數(shù)據(jù)采集模塊和所述數(shù)據(jù)寫入模塊均采用腳本配置。

作為優(yōu)選，所述數(shù)據(jù)采集模塊設(shè)置有字段解析模塊、第一語法解析模塊和數(shù)據(jù)過濾模塊，所述字段解析模塊、第一語法解析模塊均與所述數(shù)據(jù)過濾模塊連接。

作為優(yōu)選，所述數(shù)據(jù)寫入模塊設(shè)置有數(shù)據(jù)封裝模塊、第二語法解析模塊和數(shù)據(jù)脫敏保全過濾模塊。所述數(shù)據(jù)封裝模塊、第二語法解析模塊均與所述數(shù)據(jù)脫敏保全過濾模塊連接。

作為優(yōu)選，所述元數(shù)據(jù)處理器包括執(zhí)行元件、流控控制元件、并發(fā)控制元件和數(shù)據(jù)轉(zhuǎn)換元件，所述執(zhí)行元件、所述流控控制元件、所述并發(fā)控制元件和所述數(shù)據(jù)轉(zhuǎn)換元件依次連接，所述并發(fā)控制元件包括多個task單元和多個TaskGroup單元，所述TaskGroup單元用于啟動task單元，所述task單元用于數(shù)據(jù)同步。

作為優(yōu)選，所述流控控制元件包括Scheduler模塊，所述Scheduler模塊用于調(diào)度所述TaskGroup單元。

作為優(yōu)選，所述并發(fā)控制元件包括通道并發(fā)、記錄流、字節(jié)流三種流控模式。

作為優(yōu)選，所述儲存單元訪問需要賬號和密碼，且所述儲存單元可指定連接用戶讀寫指定所述儲存單元內(nèi)儲存的數(shù)據(jù)庫表權(quán)限，所述數(shù)據(jù)寫入模塊還包括加密模塊，所述加密模塊用于將寫入所述儲存單元內(nèi)部的數(shù)據(jù)進行加密儲存。

作為優(yōu)選，所述數(shù)據(jù)采集模塊采集數(shù)據(jù)庫時只需配置SOL或接入數(shù)據(jù)庫的表名、列表。

作為優(yōu)選，所述主動式異構(gòu)數(shù)據(jù)采集器還包括監(jiān)視模塊，所述監(jiān)視模塊用于檢測采集器的數(shù)據(jù)流量、數(shù)據(jù)速度和執(zhí)行進度。

作為優(yōu)選，所述主動式異構(gòu)數(shù)據(jù)采集器還設(shè)置有自動轉(zhuǎn)換模塊，用戶可根據(jù)自動轉(zhuǎn)換模塊內(nèi)部的groovy函數(shù)可自定義自動轉(zhuǎn)換模塊內(nèi)部的轉(zhuǎn)換公式。

本發(fā)明的有益效果：