[發(fā)明專利]一種多對多的數(shù)據(jù)采集系統(tǒng)及其采集方法

在審

• 申請?zhí)枺?/td>: 201410758012.0
• 申請日: 2015-08-04
• 公開（公告）號: CN104504010A
• 公開（公告）日: 2015-07-29
• 發(fā)明（設(shè)計）人: 鄭葵榮;艾建文;安宏偉;季統(tǒng)凱
• 申請（專利權(quán)）人: 國云科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣東莞信律師事務(wù)所 44332
• 代理人: 余倫

1.一種多對多的數(shù)據(jù)采集系統(tǒng)，其特征在于：所述的系統(tǒng)由采集管理平臺、采集引擎和數(shù)據(jù)處理服務(wù)器構(gòu)成，并提供相應(yīng)的開發(fā)和集成接口；

所述的采集管理平臺，用于管理數(shù)據(jù)提供方節(jié)點、接收方節(jié)點、通信協(xié)議、ETL規(guī)則和采集任務(wù)；每一個提供方或接收方作為一個子節(jié)點，描述了與平臺的交互及狀態(tài)，通過平臺統(tǒng)一管理；通信協(xié)議包括了可配置的通信方式及其規(guī)則，是數(shù)據(jù)采集的方式；ETL規(guī)則負(fù)責(zé)對采集文件進(jìn)行欄位、條件清洗；采集任務(wù)是一條包含了節(jié)點信息、通信協(xié)議、ETL規(guī)則以及其他任務(wù)補(bǔ)充信息的數(shù)據(jù)集合；

所述的采集引擎，支持多種通信方式，通過通信協(xié)議與數(shù)據(jù)提供方進(jìn)行握手，識別提供方的合法性并進(jìn)行數(shù)據(jù)采集，通知數(shù)據(jù)處理服務(wù)器；

所述的數(shù)據(jù)處理服務(wù)器，包括了數(shù)據(jù)清洗和拔插式的數(shù)據(jù)處理組件；數(shù)據(jù)清洗模塊利用ETL規(guī)則以及任務(wù)指定的數(shù)據(jù)處理組件對采集數(shù)據(jù)進(jìn)行萃取、轉(zhuǎn)換并加載至目標(biāo)節(jié)點；數(shù)據(jù)處理組件采用系統(tǒng)提供的標(biāo)準(zhǔn)接口，每一個組件處理一種數(shù)據(jù)文件，可根據(jù)實際情況進(jìn)行拔插。

2.根據(jù)權(quán)利要求1所述的一種多對多的數(shù)據(jù)采集系統(tǒng)，其特征在于：所述的采集管理平臺提供CRUD訪問接口，用于查詢及維護(hù)節(jié)點信息、通信協(xié)議、ETL規(guī)則和采集任務(wù)。

3.權(quán)利要求1或2任一項所述的多對多的數(shù)據(jù)采集系統(tǒng)的采集方法，其特征在于：所述的方法中，建立新任務(wù)的詳細(xì)流程是：

第一步，分配提供方和接收方節(jié)點編號，維護(hù)節(jié)點信息；

第二步，維護(hù)通信協(xié)議，添加通信方式及其規(guī)則；

第三步，與數(shù)據(jù)提供方和接收方進(jìn)行通信綠燈測試；

第四步，維護(hù)ETL規(guī)則；

第五步，維護(hù)任務(wù)信息，添加任務(wù)使用的節(jié)點信息、通信協(xié)議、ETL規(guī)則及其他任務(wù)補(bǔ)充信息；

第六步，日志記錄，完成；

采集引擎的詳細(xì)工作流程是：

第一步，采集引擎調(diào)度服務(wù)處于監(jiān)聽狀態(tài)；

第二步，根據(jù)任務(wù)循環(huán)周期開始執(zhí)行任務(wù)；

第三步，根據(jù)任務(wù)節(jié)點參數(shù)驗證節(jié)點活動狀態(tài)；

第四步，根據(jù)任務(wù)通信協(xié)議與提供方節(jié)點握手，連接成功后檢查文件完整性并進(jìn)行文件采集；

第五步，添加數(shù)據(jù)清洗任務(wù)至數(shù)據(jù)處理服務(wù)器隊列；

第六步，日志記錄，完成；

數(shù)據(jù)處理服務(wù)器的詳細(xì)工作流程是：

第一步，數(shù)據(jù)處理服務(wù)器隊列處于運(yùn)行狀態(tài)；

第二步，分析任務(wù)，獲取ETL規(guī)則、文件類型、目標(biāo)節(jié)點數(shù)據(jù)庫類型及存儲位置；

第三步，根據(jù)文件類型調(diào)用對應(yīng)的數(shù)據(jù)處理組件；

第四步，根據(jù)ETL規(guī)則對數(shù)據(jù)文件進(jìn)行萃取、轉(zhuǎn)換及入庫；

第五步，日志記錄，完成。