[發(fā)明專利]一種基于Hadoop的FLASH P2P流媒體實時監(jiān)測方法

有效

• 申請?zhí)枺?/td>: 201410842004.4
• 申請日: 2014-12-30
• 公開（公告）號: CN104579833B
• 公開（公告）日: 2018-10-09
• 發(fā)明（設(shè)計）人: 丁杰;刁柏青;孟祥君;張偉昌;楊佩;潘森
• 申請（專利權(quán)）人: 國家電網(wǎng)公司;中國電力科學(xué)研究院;全球能源互聯(lián)網(wǎng)研究院
• 主分類號: H04L12/26
• 分類號: H04L12/26
• 代理公司: 北京安博達(dá)知識產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

本發(fā)明涉及一種基于Hadoop的FLASH P2P流媒體實時監(jiān)測方法，所述方法包括客戶端啟動作業(yè)，通過任務(wù)調(diào)度器獲取該作業(yè)，并將其放入作業(yè)隊列中；通過所述客戶端開啟嗅探器，獲取數(shù)據(jù)包，將所述數(shù)據(jù)包發(fā)送給HDFS；從所述HDFS獲取輸入劃分信息，創(chuàng)建映射任務(wù)，并將每個映射任務(wù)分配給任務(wù)跟蹤器；所述任務(wù)跟蹤器收到映射任務(wù)后，從HDFS獲取映射化簡程序MapReduce，同時對該任務(wù)執(zhí)行映射和化簡。由此克服了數(shù)據(jù)量龐大不能及時處理的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及一種實時監(jiān)測方法，具體涉及一種基于Hadoop的FLASH P2P流媒體實時監(jiān)測方法。

背景技術(shù)

FLASH P2P技術(shù)是現(xiàn)在視頻網(wǎng)站用的比較成熟的技術(shù)。Flash P2P視頻點播系統(tǒng)則使用Flash P2p技術(shù)，提供了一種全新分發(fā)點播視頻的方式，在保證觀眾良好觀看體驗的同時降低了服務(wù)器負(fù)擔(dān)和帶寬使用，顯著提高視頻服務(wù)器的并發(fā)量和降低服務(wù)器和帶寬成本。目前國內(nèi)多家視頻門戶網(wǎng)站采用了Flash P2P技術(shù)，例如優(yōu)酷、愛奇藝、搜狐等。

Hadoop是基于分布式技術(shù)、并行處理技術(shù)和網(wǎng)格計算技術(shù)發(fā)展的產(chǎn)物,是為了適應(yīng)用海量數(shù)據(jù)和大規(guī)模計算等新需求而發(fā)展出來的模型架構(gòu)。Hadoop也是一個分布式存儲和分布式計算的框架,可以高效的存儲海量數(shù)據(jù),而且可以運(yùn)行、編寫分布式應(yīng)用程序處理海量數(shù)據(jù)。一方面Hadoop在編寫和運(yùn)行大型分布式程序計算方面具有很大優(yōu)勢,主要是Hadoop具有的方便和簡捷的特性。另一方面,Hadoop具有極高的拓展性,使得Hadoop在研究和應(yīng)用領(lǐng)域得到了廣泛的應(yīng)用，且廣受歡迎。

Hadoop數(shù)據(jù)中心由連接在一起的千上萬的計算機(jī)構(gòu)成,用戶通過普通電腦接入就可以使用數(shù)據(jù)中心,根據(jù)自己的需求進(jìn)行存儲。HDFS作為Hadoop的分布式文件系統(tǒng),具有高度的穩(wěn)定性和存儲效率；提供了高效的數(shù)據(jù)存儲,為用戶提供快速、穩(wěn)定的數(shù)據(jù)存儲服務(wù)。Map(化簡)Reduce(映射)是Hadoop的核心計算數(shù)據(jù)模型，用戶在使用Map(化簡)Reduce(映射)模型進(jìn)行大規(guī)模數(shù)據(jù)處理時,可以將主要精力放在如何編寫Map(化簡)和Reduce(映射)函數(shù)上,其它并行計算中的復(fù)雜問題諸如分布式文件系統(tǒng)、工作調(diào)度、容錯、機(jī)器間通信等都交給Map(化簡)Reduce(映射)系統(tǒng)處理,極大程度上降低了整個編程的難度。

發(fā)明內(nèi)容

為了實現(xiàn)上述目的，本發(fā)明提出一種基于hadoop的FLASH P2P流媒體實時監(jiān)測技術(shù)，提高了視頻的數(shù)據(jù)處理能力，更好的分析用戶行為，優(yōu)化了網(wǎng)站內(nèi)容，解決了數(shù)據(jù)量龐大而無法及時處理的問題，同時更具極高的時效性，商用性。

本發(fā)明的目的是采用下述技術(shù)方案實現(xiàn)的：

一種基于Hadoop的FLASH P2P流媒體實時監(jiān)測方法，所述方法包括：

(1)客戶端啟動作業(yè)，通過任務(wù)調(diào)度器獲取該作業(yè)，并將其放入作業(yè)隊列中；

(2)通過所述客戶端開啟嗅探器，獲取數(shù)據(jù)包，將所述數(shù)據(jù)包發(fā)送給HDFS；

(3)從所述HDFS獲取輸入劃分信息，創(chuàng)建映射任務(wù)，并將每個映射任務(wù)分配給任務(wù)跟蹤器；

(4)所述任務(wù)跟蹤器收到映射任務(wù)后，從HDFS獲取映射化簡程序Map(化簡)Reduce(映射)，同時對該任務(wù)執(zhí)行映射和化簡。

優(yōu)選的，所述步驟(1)中，所述作業(yè)用于將FLASH P2P流量從網(wǎng)絡(luò)流量中分離；

優(yōu)選的，所述步驟(2)中，每隔0.1s將獲取的數(shù)據(jù)包發(fā)送給HDFS；其中，所述數(shù)據(jù)包包括TCP、UDP、HTTP和DNS。