[發(fā)明專利]一種主動(dòng)式異構(gòu)數(shù)據(jù)采集器

在審

• 申請(qǐng)?zhí)枺?/td>: 201910044812.9
• 申請(qǐng)日: 2019-01-17
• 公開（公告）號(hào): CN109828947A
• 公開（公告）日: 2019-05-31
• 發(fā)明（設(shè)計(jì)）人: 劉建華;郭征寶;張軍平
• 申請(qǐng)（專利權(quán)）人: 東莞眾家聯(lián)供應(yīng)鏈服務(wù)有限公司;東莞眾家聯(lián)網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F15/78
• 分類號(hào): G06F15/78
• 代理公司: 東莞市華南專利商標(biāo)事務(wù)所有限公司 44215
• 代理人: 張明

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其是指一種主動(dòng)式異構(gòu)數(shù)據(jù)采集器，將需要采集數(shù)據(jù)的數(shù)據(jù)庫(kù)接入至本主動(dòng)式異構(gòu)數(shù)據(jù)采集器，數(shù)據(jù)采集模塊和數(shù)據(jù)寫入模塊均采用腳本配置，通過(guò)腳本配置可適配不同的數(shù)據(jù)庫(kù)，本發(fā)明的數(shù)據(jù)采集模塊包括多個(gè)plugin模塊，多個(gè)plugin模塊可適配不同的數(shù)據(jù)庫(kù)實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)之間的無(wú)縫連接，本發(fā)明的元數(shù)據(jù)處理器用于連接數(shù)據(jù)采集模塊和數(shù)據(jù)寫入模塊，本發(fā)明可實(shí)現(xiàn)對(duì)不同的數(shù)據(jù)庫(kù)進(jìn)行采集，無(wú)需人為的進(jìn)行數(shù)據(jù)關(guān)聯(lián)即可對(duì)不同的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)寫入模塊可立即將轉(zhuǎn)換之后的數(shù)據(jù)進(jìn)行讀取并寫入儲(chǔ)存單元內(nèi)，不會(huì)占用元數(shù)據(jù)處理器的內(nèi)存，使得元數(shù)據(jù)處理器可快速的處理數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集技術(shù)領(lǐng)域，尤其是指一種主動(dòng)式異構(gòu)數(shù)據(jù)采集器。

背景技術(shù)

隨著企業(yè)信息化建設(shè)的過(guò)程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其他經(jīng)濟(jì)、人為等因素的影響，導(dǎo)致企業(yè)在發(fā)展的過(guò)程中積累了大量采用不同儲(chǔ)存方式的數(shù)據(jù)，并且各個(gè)數(shù)據(jù)庫(kù)讀取數(shù)據(jù)采用不同的方式，導(dǎo)致智能設(shè)備無(wú)法正常準(zhǔn)確的采集數(shù)據(jù)，因此亟需一種能夠?qū)崿F(xiàn)在不同數(shù)據(jù)庫(kù)采集數(shù)據(jù)的采集器。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的問(wèn)題提供一種可在不同數(shù)據(jù)采集數(shù)據(jù)的主動(dòng)式異構(gòu)數(shù)據(jù)采集器。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用如下技術(shù)方案：

本發(fā)明提供的一種主動(dòng)式異構(gòu)數(shù)據(jù)采集器，包括數(shù)據(jù)采集模塊、元數(shù)據(jù)處理器、數(shù)據(jù)寫入模塊和儲(chǔ)存單元，所述數(shù)據(jù)采集模塊與所述元數(shù)據(jù)處理器連接，所述數(shù)據(jù)寫入模塊與所述元數(shù)據(jù)處理器連接，所述數(shù)據(jù)寫入模塊與所述儲(chǔ)存單元連接，所述數(shù)據(jù)采集模塊用于采集數(shù)據(jù)庫(kù)的數(shù)據(jù)，所述元數(shù)據(jù)處理器用于將所述數(shù)據(jù)采集模塊采集的數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理，所述數(shù)據(jù)寫入模塊用于將所述元數(shù)據(jù)處理器轉(zhuǎn)換的數(shù)據(jù)進(jìn)行讀取，并將讀取的數(shù)據(jù)寫入儲(chǔ)存單元，所述數(shù)據(jù)采集模塊和所述數(shù)據(jù)寫入模塊均采用腳本配置。

作為優(yōu)選，所述數(shù)據(jù)采集模塊設(shè)置有字段解析模塊、第一語(yǔ)法解析模塊和數(shù)據(jù)過(guò)濾模塊，所述字段解析模塊、第一語(yǔ)法解析模塊均與所述數(shù)據(jù)過(guò)濾模塊連接。

作為優(yōu)選，所述數(shù)據(jù)寫入模塊設(shè)置有數(shù)據(jù)封裝模塊、第二語(yǔ)法解析模塊和數(shù)據(jù)脫敏保全過(guò)濾模塊。所述數(shù)據(jù)封裝模塊、第二語(yǔ)法解析模塊均與所述數(shù)據(jù)脫敏保全過(guò)濾模塊連接。

作為優(yōu)選，所述元數(shù)據(jù)處理器包括執(zhí)行元件、流控控制元件、并發(fā)控制元件和數(shù)據(jù)轉(zhuǎn)換元件，所述執(zhí)行元件、所述流控控制元件、所述并發(fā)控制元件和所述數(shù)據(jù)轉(zhuǎn)換元件依次連接，所述并發(fā)控制元件包括多個(gè)task單元和多個(gè)TaskGroup單元，所述TaskGroup單元用于啟動(dòng)task單元，所述task單元用于數(shù)據(jù)同步。

作為優(yōu)選，所述流控控制元件包括Scheduler模塊，所述Scheduler模塊用于調(diào)度所述TaskGroup單元。

作為優(yōu)選，所述并發(fā)控制元件包括通道并發(fā)、記錄流、字節(jié)流三種流控模式。

作為優(yōu)選，所述儲(chǔ)存單元訪問(wèn)需要賬號(hào)和密碼，且所述儲(chǔ)存單元可指定連接用戶讀寫指定所述儲(chǔ)存單元內(nèi)儲(chǔ)存的數(shù)據(jù)庫(kù)表權(quán)限，所述數(shù)據(jù)寫入模塊還包括加密模塊，所述加密模塊用于將寫入所述儲(chǔ)存單元內(nèi)部的數(shù)據(jù)進(jìn)行加密儲(chǔ)存。

作為優(yōu)選，所述數(shù)據(jù)采集模塊采集數(shù)據(jù)庫(kù)時(shí)只需配置SOL或接入數(shù)據(jù)庫(kù)的表名、列表。

作為優(yōu)選，所述主動(dòng)式異構(gòu)數(shù)據(jù)采集器還包括監(jiān)視模塊，所述監(jiān)視模塊用于檢測(cè)采集器的數(shù)據(jù)流量、數(shù)據(jù)速度和執(zhí)行進(jìn)度。

作為優(yōu)選，所述主動(dòng)式異構(gòu)數(shù)據(jù)采集器還設(shè)置有自動(dòng)轉(zhuǎn)換模塊，用戶可根據(jù)自動(dòng)轉(zhuǎn)換模塊內(nèi)部的groovy函數(shù)可自定義自動(dòng)轉(zhuǎn)換模塊內(nèi)部的轉(zhuǎn)換公式。

本發(fā)明的有益效果：