[發明專利]一種大數據分析系統及其應用方法

有效

• 申請號: 201910985540.2
• 申請日: 2019-10-17
• 公開（公告）號: CN110716986B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 袁思靜
• 申請（專利權）人: 深圳市藍思網絡技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F16/21
• 代理公司: 東莞市創益專利事務所 44249
• 代理人: 李衛平

本發明實施例公開了一種大數據分析系統，包括數據采集模塊、容量監控單元、數據庫分配單元、數據導入模塊、排序整合單元和數據統計分析模塊，應用方法具體為：對每個客戶端對應分配多個數據庫，并將多個數據庫分為主數據庫和備用數據庫；實時監控主數據庫和多個備用數據庫在數據采集時的速率和剩余容量；循環更換主數據庫和多個備用數據庫的使用，限制每個數據庫的使用體積；主數據庫和多個備用數據庫的數據傳送到分布式存儲庫，主數據庫和備用數據庫的數據按照時間先后順序排列；對數據按照順序匯總分析；本方案及時轉移到備用數據庫進數據采集，在將前端數據庫的數據導入傳輸到分布式數據庫時，可分段式的將數據傳輸，提高傳輸的效率。

技術領域

本發明實施例涉及大數據處理技術領域，具體涉及一種大數據分析系統及其應用方法。

背景技術

隨著信息化的高速發展，大數據應運而生，大數據技術，指的是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。數據多樣化的形成主要有兩方面的原因：一是數據來源多，有搜索引擎、社交網絡、通話記錄、傳感器等等；二是數據格式多，有結構數據、半結構數據和非結構數據。

大數據計數的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化的分析處理，其中數據處理的整個過程可以概括為四步，分為為數據采集、數據導入和預處理、數據統計分析以及數據挖掘。

數據采集的主要特點和挑戰是并發數高，因為同時有可能會有成千上萬的用戶操作訪問，因此需要在客戶端部署大量的數據庫才能支撐，而對于數據采集使用的數據庫來說，還存在如下缺陷：

(1)當數據庫的存儲量達到一定額度后，數據庫在采集存儲時有可能會發生卡頓的情況，造成數據庫崩潰和數據丟失，不能及時實時采集客戶端數據，影響分析結果的準確性；

(2)用多個數據庫采集同一個客戶端的數據時，無法快速的將多個數據庫同步傳輸到分布式存儲庫按照順序分布匯總。

發明內容

為此，本發明實施例提供一種大數據分析系統及其應用方法，采用當一個數據庫內存達到設定值時，及時轉移到備用數據庫進數據采集，在將前端數據庫的數據導入傳輸到分布式數據庫時，可分段式的將數據傳輸，提高傳輸的效率，以解決現有技術中數據庫在采集存儲時有可能會發生卡頓的情況，造成數據庫崩潰和數據丟失的問題，以及無法快速的將多個數據庫同步傳輸到分布式存儲庫按照順序分布匯總的問題。

為了實現上述目的，本發明的實施方式提供如下技術方案：一種大數據分析系統，包括：

所述數據采集模塊，由多個用于接收客戶端數據的前端數據庫組成，每個客戶端分配的所述前端數據庫分為主數據庫和多個備用數據庫；

容量監控單元，用于實時監控每個主數據庫和備用數據庫的剩余內存容量和數據采集效率；

數據庫分配單元，當所述主數據庫的容量超過設定值時，更換所述客戶端連接到備用數據庫進行數據采集；

數據導入模塊，采用多個分布式存儲庫接收所述主數據庫和備用數據庫內的數據；

排序整合單元，將主數據庫和備用數據庫的數據按照時間先后順序排列；

數據統計分析模塊，對分布式存儲庫內的海量數據按照順序匯總分析。

作為本發明的一種優選方案，當所述備用數據庫的總數量大于兩個，所述數據庫分配單元對多個備用數據庫的傳輸順序排序，所述數據庫分配單元將主數據庫和備用數據庫按照前后順序依次循環調用實現數據傳輸。

作為本發明的一種優選方案，利用所述主數據庫和所述備用數據庫的順序工作，主數據庫和備用數據庫的容量體積保持在穩定范圍內，避免數據傳輸卡頓，實現穩定傳輸，具體的工作步驟為：