[發明專利]一種大數據分析系統及其應用方法

有效

• 申請號: 201910985540.2
• 申請日: 2019-10-17
• 公開（公告）號: CN110716986B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 袁思靜
• 申請（專利權）人: 深圳市藍思網絡技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F16/21
• 代理公司: 東莞市創益專利事務所 44249
• 代理人: 李衛平

1.一種大數據分析系統，其特征在于，包括：

數據采集模塊（1），由多個用于接收客戶端數據的前端數據庫組成，每個客戶端分配的所述前端數據庫分為主數據庫和多個備用數據庫；

容量監控單元（2），用于實時監控每個主數據庫和備用數據庫的剩余內存容量和數據采集效率；

數據庫分配單元（3），當所述主數據庫的容量超過設定值時，更換所述客戶端連接到備用數據庫進行數據采集，當所述備用數據庫的總數量大于兩個，所述數據庫分配單元（3）對多個備用數據庫的傳輸順序排序，所述數據庫分配單元（3）將主數據庫和備用數據庫按照前后順序依次循環調用實現數據傳輸；

主數據庫和備用數據庫的使用順序具體為：主數據庫和多個備用數據庫的順序循環使用；

數據導入模塊（4），采用多個分布式存儲庫接收所述主數據庫和備用數據庫內的數據；

排序整合單元（5），將主數據庫和備用數據庫的數據按照時間先后順序排列；

數據統計分析模塊（6），對分布式存儲庫內的海量數據按照順序匯總分析。

2.根據權利要求1所述的一種大數據分析系統，其特征在于，利用所述主數據庫和所述備用數據庫的順序工作，主數據庫和備用數據庫的容量體積保持在穩定范圍內，避免數據傳輸卡頓，實現穩定傳輸，具體的工作步驟為：

所述主數據庫和所述備用數據庫的優先級不同，且所述主數據庫的優先級高于所述備用數據庫的優先級，客戶端的數據通過優先級高的主數據庫傳輸到數據導入模塊；

容量監控單元（2）實時監控數據采集速率，以及主數據庫的剩余內存容量，當傳輸速率小于設定值或者剩余內存容量小于設定值時，客戶端與第一個備用數據庫連接，客戶端的數據通過第一備用數據庫傳輸到數據導入模塊；

容量監控單元（2）實時監控數據采集速率，以及當前的備用數據庫的剩余內存容量，當傳輸速率小于設定值或者剩余內存容量小于設定值時，客戶端與第二個備用數據庫連接，客戶端的數據通過第二備用數據庫傳輸到數據導入模塊；

以此類推，直至客戶端的數據通過第n備用數據庫傳輸到數據導入模塊；

在所有備用數據庫依次使用后，客戶端重新使用主數據庫傳輸到數據導入模塊（4）。

3.一種大數據分析系統的應用方法，其特征在于，包括如下步驟：

步驟100、對每個客戶端對應分配多個數據庫，并將多個數據庫分為主數據庫和備用數據庫；

步驟200、實時監控主數據庫和多個備用數據庫在數據采集時的速率，同時監控每個數據庫的剩余容量；

步驟300、循環更換主數據庫和多個備用數據庫的使用，限制每個數據庫的使用體積；

步驟400、主數據庫和多個備用數據庫的數據傳送到分布式存儲庫，主數據庫和備用數據庫的數據按照時間先后順序排列；

步驟500、對數據按照順序匯總分析。

4.根據權利要求3所述的一種大數據分析系統的應用方法，其特征在于，在步驟300中，循環更換主數據庫和多個備用數據庫的使用，客戶端的數據轉移存儲的具體實現步驟為：

步驟301、主數據庫和多個備用數據庫的剩余內存容量達到設定值時，設置每個主數據庫和備用數據庫的轉移節點；

步驟302、確定主數據庫和多個備用數據庫的轉移節點之間的映射關系；

步驟303、根據映射關系，從一個數據庫轉移到映射對應的數據庫連續采集數據；

步驟304、每個數據庫的轉移節點之內的數據按照先入先出的順序導入分布式存儲庫，并且根據轉移節點的映射關系，將兩個具有映射關系的數據庫數據順次連接。

5.根據權利要求3所述的一種大數據分析系統的應用方法，其特征在于，在步驟400中，主數據庫和多個備用數據庫的數據根據先入先出原則輸送到數據導入模塊的分布式存儲庫內。