[發明專利]一種基于分布式集群的數據采集系統及方法

在審

• 申請號: 201710373026.4
• 申請日: 2017-05-24
• 公開（公告）號: CN107222360A
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 吳蜀魏
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及網絡通信技術領域，尤其涉及一種基于分布式集群的數據采集系統；本發明還涉及一種基于分布式集群的數據采集方法。

背景技術

當前，隨著網絡信息技術的不斷發展，大數據時代已經到來。針對海量數據的挖掘與分析已經成為當今的研究熱點，而數據采集是數據挖掘與分析的基礎。

在數據采集的過程中，數據采集的實時性與采集數據時系統所消耗的資源是一對相互矛盾的量，當需要提高數據的實時性時，需要加快對數據的掃描速率，但同時會產生更多的數據，從而增加系統消耗所需要的資源。

在當今社會中，通常是通過分布式集群數據采集系統對大量數據進行采集。在現有技術中，通常是有一個主采集節點和若干個子采集節點，其中主采集節點用于控制各子采集節點進行數據的采集，以及對數據進行儲存等等，而子采集節點通常僅用于對數據進行采集。主采集節點通常是通過統一的頻率獲取各個子采集節點所采集的數據。

但是在現有技術中，通常會出現對于變化較快的數據進行采集時，其實時性較差；或者是對于變化較慢的數據進行采集時，其系統資源發生了浪費。

發明內容

有鑒于此，本發明的主要目的在于提供一種數據采集系統，可以針對不同變化速率的數據采用不同的采集頻率；本發明的另一目的在于提供一種數據采集方法，可以提高數據采集的實時性或者是減少系統資源的浪費。

為了解決上述問題，本發明提供了一種基于分布式集群的數據采集系統，所述系統包括主采集節點、數據解析模塊和多個子采集節點；

所述主采集節點連接多個所述子采集節點，所述子采集節點用于采集數據，所述主采集節點用于接收各個所述子采集節點采集的數據；

所述數據解析模塊用于分別計算各個所述子采集節點采集的數據的變化速率；

所述數據解析模塊根據所述變化速率調節各個所述子采集節點的數據采集頻率。

可選的，所述數據解析模塊為多個，所述數據解析模塊與所述子采集節點一一對應的連接。

可選的，所述數據解析模塊為一個，所述數據解析模塊連接每個所述子采集節點。

可選的，所述子采集節點還用于存儲自身當前采集數據的頻率。

可選的，所述系統進一步包括數據庫配置同步模塊；

所述數據庫配置同步模塊用于向各個所述子采集節點采集的數據添加統一的時間坐標。

本發明還提供了一種基于分布式集群的數據采集方法，所述方法包括：

數據解析模塊獲取子采集節點采集的數據；

所述數據解析模塊計算各個所述子采集節點所采集的各組數據的變化速率；

所述數據解析模塊根據所述變化速率調節各個所述子采集節點的數據采集頻率，所述子采集節點將采集的數據發送至主采集節點。

可選的，所述數據解析模塊根據所述變化速率改變所述子采集節點的數據采集頻率包括：

所述數據解析模塊根據所述變化速率和預先設定的對應關系得到所述子采集節點的理論數據采集頻率；

所述數據解析模塊將所述數據采集頻率調節至所述理論數據采集頻率。

可選的，所述數據解析模塊根據所述變化速率改變所述子采集節點的數據采集頻率包括：

所述數據解析模塊判斷所述變化速率是否大于預先設定的第一閾值，若是，則降低所述數據采集頻率；

所述數據解析模塊判斷所述變化速率是否小于預先設定的第二閾值，若是，則提高所述數據采集頻率。

可選的，所述方法進一步包括：

數據庫配置同步模塊向各個所述子采集節點采集的數據添加統一的時間坐標。

本發明所提供的系統，包括了數據解析模塊，所述數據解析模塊會計算各個子采集節點所采集的各組數據的變化速率，并根據變化速率調節各個所述子采集節點的數據采集頻率，從而使得各個子采集節點的采集頻率與其所采集到的數據的變化速率相適應，以此來增加對于變化速率較快的數據采集的實時性，或者是減少當采集的數據的變化速率較慢時，所述采集到的數據對于系統資源的占用。本發明還提供了一種基于分布式集群的數據采集方法，具有上述有益效果，在此不再贅述。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，還可以根據這些附圖獲得其它的附圖。

圖1為本發明實施例所提供的第一種數據采集系統的結構示意圖；