[發明專利]基于深度包檢測的網絡實時大數據系統及大數據分析方法

有效

• 申請號: 201510646237.1
• 申請日: 2015-10-09
• 公開（公告）號: CN105354234B
• 公開（公告）日: 2018-10-09
• 發明（設計）人: 戴錦友;余少華;汪學舜
• 申請（專利權）人: 武漢烽火網絡有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京捷誠信通專利事務所(普通合伙) 11221
• 代理人: 王衛東

1.一種基于深度包檢測的網絡實時大數據系統，其特征在于：該大數據系統包括深度包檢測控制單元、深度包檢測單元、數據庫單元、數據挖掘單元和聯機分析處理單元，其中：

所述深度包檢測控制單元用于：獲取上層應用的信息需求；將上層應用的信息需求用特定的信息轉換為網絡數據收集的策略，并將所述策略下達給深度包檢測單元；

所述深度包檢測單元用于：根據所述策略從網絡中收集相應的數據；同時，深度包檢測單元將收集的數據提交到數據庫單元中；

所述數據庫單元用于：根據收集的數據建立數據庫；

所述數據挖掘單元和聯機分析處理單元用于：基于數據庫中的數據，進行挖掘和聯機分析處理，得到上層應用需要的信息，并將得到的信息提交給上層應用實體使用；

所述深度包檢測單元實現初步的信息解析和轉換，將數據包映射為數據庫單元的接口模塊要求的K-V結構，再由數據庫單元的接口模塊映射到數據庫單元的存儲結構；K表示關鍵值，V表示值，K是準結構化的，V是完全非結構化的，K由行值、列值、時戳三部分共同組成，其中行值、列值為非結構的數據，V是包含文件、視頻、聲音在內的任何數據；

所述數據庫單元基于NOSQL數據庫生成，數據庫單元的接口模塊負責完成提交上來的數據到數據庫的轉換和映射。

2.如權利要求1所述的基于深度包檢測的網絡實時大數據系統，其特征在于：所述深度包檢測單元僅收集上層應用感興趣的數據，摒棄剩余的海量的對上層應用無價值的數據。

3.如權利要求1所述的基于深度包檢測的網絡實時大數據系統，其特征在于：所述系統包括一個或多個深度包檢測單元、一個或多個深度包檢測控制單元，每個深度包檢測控制單元控制一個或多個深度包檢測單元。

4.如權利要求1所述的基于深度包檢測的網絡實時大數據系統，其特征在于：所述深度包檢測單元在處理網絡中的某數據包時，如果發現某數據包匹配上已存在的策略、并且該策略指定的操作是送達數據庫單元時，則將該數據包攜帶的數據提交給數據庫單元。

5.如權利要求1至4中任一項所述的基于深度包檢測的網絡實時大數據系統，其特征在于：所述數據庫單元的接口模塊適配與數據庫關聯的各單元或組件，即與數據庫關聯的各單元或組件不因數據庫的改變而改變。

6.一種基于深度包檢測的網絡實時大數據分析方法，其特征在于，包括以下步驟：

S1、獲取上層應用對信息的需求；

S2、將上層應用的信息需求轉換為網絡數據收集的策略；

S3、根據上述策略從網絡中得到相應的數據；實現初步的信息解析和轉換，將數據包映射為數據庫單元的接口模塊要求的K-V結構，再由數據庫單元的接口模塊映射到數據庫單元的存儲結構；K表示關鍵值，V表示值，K是準結構化的，V是完全非結構化的，K由行值、列值、時戳三部分共同組成，其中行值、列值為非結構的數據，V是包含文件、視頻、聲音在內的任何數據；

S4、根據步驟S3收集的數據建立數據庫，起到銜接深度包檢測技術和大數據分析技術的作用；基于NOSQL數據庫生成數據庫單元，數據庫單元的接口模塊完成提交上來的數據到數據庫的轉換和映射；

S5、基于所述數據庫，利用聯機分析技術和數據挖掘技術，得到上層應用需要的信息；

S6、將步驟S5得到的信息提交上層應用實體使用。

7.如權利要求6所述的基于深度包檢測的網絡實時大數據分析方法，其特征在于：步驟S3中僅收集上層應用感興趣的數據，摒棄剩余的海量的對上層應用無價值的數據。