[發明專利]基于深度包檢測的網絡實時大數據系統及大數據分析方法

有效

• 申請號: 201510646237.1
• 申請日: 2015-10-09
• 公開（公告）號: CN105354234B
• 公開（公告）日: 2018-10-09
• 發明（設計）人: 戴錦友;余少華;汪學舜
• 申請（專利權）人: 武漢烽火網絡有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京捷誠信通專利事務所(普通合伙) 11221
• 代理人: 王衛東

本發明公開了一種基于深度包檢測的網絡實時大數據系統及大數據分析方法，涉及深度包檢測和大數據分析領域。該系統包括深度包檢測單元、深度包檢測控制單元、數據庫單元、數據挖掘單元和聯機分析處理單元，該系統根據上層應用的需求，實時收集網絡中的大數據，將大數據中有價值的信息提取出來，提交給上層應用實體使用。該方法包括以下步驟：獲取上層應用的信息需求；將該信息需求轉換為網絡數據收集的策略；根據策略從網絡中收集相應的數據，建立數據庫；基于數據庫，分析和挖掘得到上層應用需要的信息；將得到的信息提交上層應用實體使用。本發明將網絡技術和大數據分析技術結合，既能滿足網絡相關應用的要求，又不會大幅增加硬件的投入。

技術領域

本發明涉及深度包檢測和大數據分析領域，具體是涉及一種基于深度包檢測的網絡實時大數據系統及大數據分析方法。

背景技術

網絡的飛速發展是近代最為明顯的特征之一，網絡給社會帶來的好處難以勝數，但隨著網絡的發展和云時代的到來，網絡中產生的數據呈爆炸性增長，昭示著大數據時代已經到來。業內一般認為“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；或者說大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。也就是說，大數據需要新的技術和方法。

另一方面，被網絡不斷創造且持續存在于網絡中的大數據包含的信息價值是不可估量的，但由于魚龍混雜，金子隱于沙中，很難加以使用，使得處在網絡中的各方既希望從大數據中收益，又無法輕松自如的從大數據中得到有價值的信息。

大數據的4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)決定了對它的處理需要與常規數據處理不同的方法。盡管關于大數據的分析和處理的研究在不斷的深入進行中，也取得了豐碩的成果，但網絡產生的數據的增長速度仍然超出了現有技術和方法的能力。

參見圖1所示，當前的大數據系統或方法，一般由如下幾個環節組成：數據采集、數據預處理、數據存儲、數據分析/挖掘以及結果呈現。它們大多數將重點放在當前的數據處理技術的應用上，而忽視了其他技術(如網絡技術)對大數據系統或方法的幫助。因此，它們通常具有以下缺陷：

(1)實時性差，由于網絡中大數據的規模已達到了相當驚人的量級，而且網絡產生的數據容量對時間分布也表現出隨機性，峰值數據規模遠超出均值，處理這些數據需要很長時間，現有方法多采用非實時方式，導致大數據系統的輸出實時性差，降低了輸出的價值。

(2)對數據處理硬件的要求很高。正因為大數據的規模太大，普通的硬件配置不能勝任對大數據的加工，因此，需要更強大、更高配置的硬件支持。

(3)分析過程彎路多、資源浪費嚴重。由于大數據中沙子(沒有價值的數據)多、金子(有價值的信息)少，提煉金子需要全面檢查各種沙子，甚至，多次檢查同一種沙子，這使得分析過程曲折冗長，資源利用率差，分析處理效率低。

因此，在面對網絡產生的大數據龐大數量的情況下，網絡相關的應用對實時性要求較高，使得大數據相關技術面向網絡實時分析時，面臨著巨大的困難和挑戰。

發明內容

本發明的目的是為了克服上述背景技術的不足，提供一種基于深度包檢測的網絡實時大數據系統及大數據分析方法，結合深度包檢測技術和大數據分析技術各自的優勢和作用，將網絡產生的海量大數據收集上來，提煉出上層應用需要的有價值的信息，既能滿足網絡相關應用的要求，又不會大幅增加硬件的投入。

本發明提供一種基于深度包檢測的網絡實時大數據系統，包括深度包檢測控制單元、深度包檢測單元、數據庫單元、數據挖掘單元和聯機分析處理單元，其中：

所述深度包檢測控制單元用于：獲取上層應用的信息需求；將上層應用的信息需求用特定的信息轉換為網絡數據收集的策略，并將所述策略下達給深度包檢測單元；