[發明專利]基于Hadoop平臺的深度包檢測系統及方法

在審

• 申請號: 201410317160.9
• 申請日: 2014-07-04
• 公開（公告）號: CN104156389A
• 公開（公告）日: 2014-11-19
• 發明（設計）人: 雒江濤;楊軍超;胡汝榮;向程超;高偉;王小平;申建;劉勇
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.基于Hadoop平臺的深度包檢測系統，其特征在于，所述系統包括網絡爬蟲部分和深度包檢測部分，網絡爬蟲部分包括網絡爬蟲模塊、文件解析模塊、數據庫，網絡爬蟲單元從互聯網抓取頁面，文件解析單元對網頁進行分析得到統一資源定位符URL與網頁分級內容的映射關系，根據抓取頁面不斷迭代更新數據庫中的映射關系庫；深度包檢測部分包括數據包解析PA模塊、流量分類TC模塊、深度包檢測DPI模塊，PA模塊將原始數據解析成五元組流，輸入TC模塊，TC模塊將輸入的五元組流做業務流標記，生成特定業務流輸入DPI模塊，DPI模塊將特定業務流轉化成DPI事件，將DPI事件與映射關系庫匹配，完成DPI事件統計。

2.根據權利要求1所述的系統，其特征在于，PA模塊將原始數據解析成五元組流，輸入TC模塊具體包括，PA模塊讀取HDFS中原始數據流，以數據包偏移量為Key、數據包內容為Value的鍵值對形式作為MapReduce的輸入，結果輸出以五元組為Key、五元組流和流特征統計為Value的形式，存儲到HDFS中。

3.根據權利要求1所述的系統，其特征在于，TC模塊將輸入的五元組流做業務流標記，生成特定業務流輸入DPI模塊具體包括，TC模塊讀取HDFS中五元組流，以五元組為Key、五元組流為Value的鍵值對形式作為MapReduce的輸入，結果輸出以五元組/業務標記為Key、業務標記流為Value的形式，存儲到HDFS中。

4.根據權利要求1所述的系統，其特征在于，DPI模塊將特定業務流轉化成DPI事件具體包括，DPI模塊讀取HDFS中特定業務流，以五元組/業務標記為Key、特定業務流特征為Value的鍵值對形式作為MapReduce輸入，結果輸出以五元組/業務標記為Key、DPI事件為Value的形式。

5.一種基于Hadoop平臺深度包檢測方法，其特征在于，包括步驟：網絡爬蟲模塊不斷循環抓取特定網站網頁文件，文件解析模塊對網頁文件進行分析，得到URL與網頁分級內容的映射關系，存儲到數據庫，根據抓取頁面不斷迭代更新數據庫中的映射關系庫；PA模塊將原始數據解析成五元組流輸入TC模塊，TC模塊將輸入的五元組流做業務流標記，生成特定業務流輸入DPI模塊，DPI模塊將特定業務流轉化成DPI事件，將DPI事件與映射關系庫匹配，完成DPI事件統計。

6.根據權利要求5所述的方法，其特征在于，PA模塊將原始數據解析成五元組流，輸入TC模塊具體包括，PA模塊讀取HDFS中原始數據流，以數據包偏移量為Key、數據包內容為Value的鍵值對形式作為MapReduce的輸入，結果輸出以五元組為Key、五元組流和流特征統計為Value的形式，存儲到HDFS中。

7.根據權利要求5所述的方法，其特征在于，TC模塊將輸入的五元組流做業務流標記，生成特定業務流輸入DPI模塊具體包括，TC模塊讀取HDFS中五元組流，以五元組為Key、五元組流為Value的鍵值對形式作為MapReduce的輸入，結果輸出以五元組/業務標記為Key、業務標記流為Value的形式，存儲到HDFS中。

8.根據權利要求5所述的方法，其特征在于，DPI模塊將特定業務流轉化成DPI事件具體包括，DPI模塊讀取HDFS中特定業務流，以五元組/業務標記為Key、特定業務流特征為Value的鍵值對形式作為MapReduce輸入，結果輸出以五元組/業務標記為Key、DPI事件為Value的形式。