[發(fā)明專利]一種大數(shù)據(jù)的數(shù)據(jù)采集方法

在審

• 申請?zhí)枺?/td>: 202011244625.4
• 申請日: 2020-11-10
• 公開（公告）號(hào): CN112269902A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 龔波;蘇學(xué)武;水軍;楊剛;蘇文輝
• 申請（專利權(quán)）人: 珠海市新德匯信息技術(shù)有限公司
• 主分類號(hào): G06F16/835
• 分類號(hào): G06F16/835;G06F16/838;G06F16/27
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種大數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，包括以下步驟：

S1、基于可視化流程編排平臺(tái)，統(tǒng)一處理不同類型的數(shù)據(jù)；所述步驟S1具體包括以下步驟：

S11、構(gòu)建設(shè)計(jì)態(tài)平臺(tái)；

S12、針對不同類型的數(shù)據(jù)定制不同的接入組件；

S13、預(yù)置接入組件；預(yù)置的接入組件能夠被動(dòng)監(jiān)聽實(shí)時(shí)流數(shù)據(jù)、主動(dòng)拉取靜態(tài)數(shù)據(jù)、對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行轉(zhuǎn)換；

S2、基于可視化流程編排平臺(tái)，統(tǒng)一編排數(shù)據(jù)對賬、數(shù)據(jù)質(zhì)量檢測公共流程；所述步驟S2具體包括以下步驟：

S21、在能夠主動(dòng)獲取源數(shù)據(jù)和目的數(shù)據(jù)的節(jié)點(diǎn)，編排數(shù)據(jù)對賬組件及流程；

S22、在能夠主動(dòng)拉取數(shù)據(jù)的節(jié)點(diǎn)，編排數(shù)據(jù)質(zhì)量檢測組件及流程，重用接入組件的數(shù)據(jù)獲取能力，對數(shù)據(jù)源進(jìn)行質(zhì)量抽取和檢測。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述設(shè)計(jì)態(tài)平臺(tái)能夠支持設(shè)計(jì)態(tài)與運(yùn)行態(tài)分離。

3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟S12中，設(shè)計(jì)態(tài)平臺(tái)定義接入組件的定制規(guī)范，允許二次擴(kuò)展接入組件；

步驟S12包括以下步驟：

S121、針對不同場景對做接入組件適配，屏蔽獲取模式或通信協(xié)議的差異，生成協(xié)議中立的報(bào)文；

S122、采用系統(tǒng)封裝通用機(jī)制供各接入組件調(diào)用，將獲取到的數(shù)據(jù)，以批量方式統(tǒng)一推送到Kafka集群。

4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟S13中，被動(dòng)監(jiān)聽實(shí)時(shí)流數(shù)據(jù)，是以Syslog或Restful接口接收到高速實(shí)時(shí)流數(shù)據(jù)后，去除協(xié)議相關(guān)的語法，解析成規(guī)整的結(jié)構(gòu)化數(shù)據(jù)，批量提交到kafka集群削峰，然后由實(shí)時(shí)流處理引擎統(tǒng)一加工處理。

5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟S13中，主動(dòng)拉取靜態(tài)數(shù)據(jù)，是以增量方式從JDBC、kafka數(shù)據(jù)源批量抽取數(shù)據(jù)，得到規(guī)整的結(jié)構(gòu)化數(shù)據(jù)，批量提交到Kafka集群，然后由實(shí)時(shí)流處理引擎統(tǒng)一加工處理。

6.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟S13中，對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行轉(zhuǎn)換，是由前置智能分析處理器把非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為規(guī)整的結(jié)構(gòu)化數(shù)據(jù)，推送到Kafka集群，然后由實(shí)時(shí)流處理引擎統(tǒng)一加工處理。