[實用新型]一種多源異構數據快速采集系統

有效

• 申請號: 201721668866.5
• 申請日: 2017-12-05
• 公開（公告）號: CN207766288U
• 公開（公告）日: 2018-08-24
• 發明（設計）人: 劉佳欣;高峰;韓強
• 申請（專利權）人: 四川無境眾創科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 成都創久知識產權代理有限公司 51262
• 代理人: 藍靜

本實用新型公開了一種多源異構數據快速采集系統，它包括數據采集單元、數據清洗單元、數據處理單元、通信層、云端服務器和云端存儲單元，數據采集單元的采集數據輸出端與數據清洗單元的采集數據輸入端連接，數據清洗單元的清洗數據輸出端與數據處理單元的輸入端連接，數據處理單元與通信層通訊連接，通信層與云端服務器通訊連接，云端服務器的數據存儲控制端與云端存儲單元的控制端連接，云端服務器包括監聽模塊，監聽模塊顯示數據處理單元與云端服務器的連接狀態。該系統通過數據采集單元進行數據采集，采集的數據通過數據清洗單元進行數據清洗，數據處理單元進行數據規格化，將整理后的數據傳輸到云端服務器，以供用戶訪問使用。

技術領域

本實用新型涉及數據采集領域，特別是一種多源異構數據快速采集系統。

背景技術

現在社會的高速進步，物聯網的快速發展引領信息產業走向了一個新的浪潮，而數據采集作為信息產業的核心技術，令其以及其邊緣技術更加智能化已經成為了物聯網系統的核心技術問題。數據采集面臨的是來自不同網絡不同網站和不同行業的各種信息，而用戶在使用各種資料時，往往更傾向于使用經過歸納整理的資料，因此這些被采集到的信息并不能直接作為資料提供給用戶，需要進行歸類或者提取。

在大數據時代，信息的時效性有限，誰能在較短的時間內為用戶提供更清楚有效的信息，誰就能夠占據有利的市場份額，現有的數據采集系統往往僅能夠針對單一的數據進行處理，或者處理不夠完整清楚，數據采集與處理不夠迅速。

實用新型內容

本實用新型的目的在于克服現有技術的不足，提供一種多源異構數據快速采集系統，該系統通過數據采集單元進行數據采集，采集的數據通過數據清洗單元進行數據清洗，數據處理單元進行數據規格化，將整理后的數據傳輸到云端服務器，以供用戶訪問使用。

本實用新型的目的是通過以下技術方案來實現的：一種多源異構數據快速采集系統，它包括數據采集單元、數據清洗單元、數據處理單元、通信層、云端服務器和云端存儲單元，所述的數據采集單元的采集數據輸出端與數據清洗單元的采集數據輸入端連接，所述的數據清洗單元的清洗數據輸出端與數據處理單元的輸入端連接，所述的數據處理單元與通信層通訊連接，所述通信層與云端服務器通訊連接，云端服務器的數據存儲控制端與云端存儲單元的控制端連接，所述的云端服務器包括監聽模塊，監聽模塊顯示數據處理單元與云端服務器的連接狀態。

該系統還包括安全認證單元和應用服務器，應用服務器通過安全認證單元訪問云端服務器。

所述的數據處理單元還包括連接狀態監測模塊和斷點續傳模塊，所述的連接狀態監測模塊監測數據處理單元與云端服務器之間的連接狀態，斷點續傳模塊用于傳輸處理后的數據。

所述的云端服務器還包括校驗模塊，校驗模塊驗證應用服務器的身份。

所述的云端存儲單元包括數據庫管理服務器和數據庫服務器，數據庫管理服務器與數據庫服務器的控制端連接，云端服務器的數據存儲控制端與數據庫管理服務器的控制端連接。

本實用新型的有益效果是：本實用新型提供了一種多源異構數據快速采集系統，該系統通過數據采集單元進行數據采集，采集的數據通過數據清洗單元進行數據清洗，數據處理單元進行數據規格化，將整理后的數據傳輸到云端服務器，以供用戶訪問使用，用戶通過應用服務器訪問云端存儲服務器，訪問過程通過安全認證單元加密認證，保障了云端存儲的數據的安全，同時數據處理單元與云端存儲服務器之間采用斷點續傳的傳輸方式，保障的數據的完整性。

附圖說明

圖1為本實用新型的結構框圖。

具體實施方式

下面結合附圖進一步詳細描述本實用新型的技術方案，但本實用新型的保護范圍不局限于以下所述。