[發明專利]一種基于Hadoop的FLASH P2P流媒體實時監測方法

有效

• 申請號: 201410842004.4
• 申請日: 2014-12-30
• 公開（公告）號: CN104579833B
• 公開（公告）日: 2018-10-09
• 發明（設計）人: 丁杰;刁柏青;孟祥君;張偉昌;楊佩;潘森
• 申請（專利權）人: 國家電網公司;中國電力科學研究院;全球能源互聯網研究院
• 主分類號: H04L12/26
• 分類號: H04L12/26
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種基于Hadoop的FLASH P2P流媒體實時監測方法，其特征在于，所述方法包括：

(1)客戶端啟動作業，通過任務調度器獲取該作業，并將其放入作業隊列中；

(2)通過所述客戶端開啟嗅探器，獲取數據包，將所述數據包發送給HDFS；

(3)從所述HDFS獲取輸入劃分信息，創建映射任務，并將每個映射任務分配給任務跟蹤器；

(4)所述任務跟蹤器收到映射任務后，從HDFS獲取映射化簡程序MapReduce，同時對該任務執行映射和化簡；

所述步驟(4)中執行映射的方法包括：在執行映射前，確認映射任務的輸入/輸出的路徑，并輸入目錄下的數據文件；獲取第一<鍵，值>、中間<鍵，值>和第二<鍵，值>，先根據第一<鍵，值>進行映射計算，對其輸出結果進行第二次映射計算，得到映射輸出結果進行化簡輸出，并將數據輸出到設定的目錄下；

第一次映射計算，包括通過映射函數根據數據包類型篩選UDP數據包，生成所述中間<鍵，值>，并刪除UDP數據包外的其他數據包，其中鍵值為該UDP數據包類型，value值為UDP數據包。

2.如權利要求1所述的FLASH P2P流媒體實時監測方法，其特征在于，所述步驟(1)中，所述作業用于將FLASH P2P流量從網絡流量中分離。

3.如權利要求1所述的FLASH P2P流媒體實時監測方法，其特征在于，所述步驟(2)中，每隔0.1s將獲取的數據包發送給HDFS；其中，所述數據包包括TCP、UDP、HTTP和DNS。

4.如權利要求1所述的FLASH P2P流媒體實時監測方法，其特征在于，第二次映射計算，包括將所述中間<鍵，值>中的值重新作為數據，進行第二次映射計算，定義第二<鍵，值>；其中鍵值為數據包的訪問端ID，如果所述訪問端ID能夠被4整除，則該數據包為FLASH P2P流量數據包。

5.如權利要求1所述的FLASH P2P流媒體實時監測方法，其特征在于，所述化簡輸出包括：將第二次映射的輸出結果放入一個環形緩沖區，當該緩沖區快要溢出時，在本地文件系統中創建一個溢出文件，將該緩沖區中的數據寫入該文件；當緩沖區中的數據到達一定大小時，開始寫入硬盤；

寫入前，將數據劃分為與化簡任務數目相同的分區；寫入時，化簡任務向任務調度器獲取對應的映射輸出位置和數據。

6.如權利要求5所述的FLASH P2P流媒體實時監測方法，其特征在于，所述任務跟蹤器周期性的向任務調度器發送心跳包，告知任務調度器運行新的作業，此時任務調度器調動映射從HDFS獲取新的數據塊，無需重新獲取其他信息；所述心跳攜帶的信息為當前映射任務完成的進度信息；當任務調度器收到作業的最后一個任務完成信息時，把該作業設置為“成功”。