[發(fā)明專利]一種基于Hadoop框架的分布式文件監(jiān)控系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310621705.0
• 申請(qǐng)日: 2013-11-30
• 公開（公告）號(hào): CN103678521A
• 公開（公告）日: 2014-03-26
• 發(fā)明（設(shè)計(jì)）人: 董樂;林智煜;封寧;謝山山
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 成都華典專利事務(wù)所(普通合伙) 51223
• 代理人: 徐豐;楊保剛

技術(shù)領(lǐng)域

本發(fā)明涉及圖像數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種云計(jì)算領(lǐng)域中基于Hadoop框架的分布式文件監(jiān)控系統(tǒng)。

背景技術(shù)

目前，隨著云計(jì)算概念的普及，大數(shù)據(jù)處理也開始為人所重視，一些大公司也開始了這方面的研究，主要集中在Hadoop開發(fā)、軟件、子項(xiàng)目以及相關(guān)硬件；下一代數(shù)據(jù)倉庫以及相關(guān)硬件；大數(shù)據(jù)分析平臺(tái)以及應(yīng)用；適用于大數(shù)據(jù)的商業(yè)智能、數(shù)據(jù)挖掘和數(shù)據(jù)虛擬化平臺(tái)以及應(yīng)用；適用于大數(shù)據(jù)的數(shù)據(jù)集成平臺(tái)以及工具。

Hadoop?Map-Reduce平臺(tái)作為Map-Reduce架構(gòu)的開源實(shí)現(xiàn)，主要用于大規(guī)模數(shù)據(jù)集的并行計(jì)算，它架構(gòu)簡(jiǎn)單，對(duì)數(shù)據(jù)密集型應(yīng)用能夠有效支持，因此近幾年在國內(nèi)外的海量數(shù)據(jù)處理領(lǐng)域被大量使用，如Facebook，Amazon，淘寶等。

Hadoop作為一個(gè)分布式框架，可以分布式的操縱大量數(shù)據(jù)，在海量數(shù)據(jù)處理上具備很多優(yōu)勢(shì)：

1.?高容錯(cuò)性：從設(shè)計(jì)上HDFS?已經(jīng)假設(shè)了各服務(wù)器節(jié)點(diǎn)可能宕機(jī)，或者網(wǎng)絡(luò)可能分割。這些問題會(huì)導(dǎo)致某些機(jī)器不可用。Hadoop?通過如下手段實(shí)現(xiàn)了高容錯(cuò)性：心跳檢測(cè)和文件復(fù)制；?數(shù)據(jù)完整性檢測(cè)；元數(shù)據(jù)多源備份及Log?機(jī)制；?集群均衡。

2.?高伸縮性：Hadoop?集群可以從一臺(tái)機(jī)器擴(kuò)大到上千臺(tái)機(jī)器。具備很強(qiáng)的應(yīng)對(duì)業(yè)務(wù)變化的能力；這里的業(yè)務(wù)變化可以是幾個(gè)小時(shí)之內(nèi)業(yè)務(wù)量從波峰到波谷之間的轉(zhuǎn)換，也可以是中長(zhǎng)期的業(yè)務(wù)增長(zhǎng)或者變化。

3.?高成熟性：業(yè)界多家傳統(tǒng)IT?巨頭都在Hadoop?上工作，將此系統(tǒng)打磨得相當(dāng)成熟穩(wěn)定。基于Hadoop?的應(yīng)用，無須擔(dān)憂Hadoop?本身的穩(wěn)定性。而且有很多相關(guān)的基于Hadoop?的套件可以使用例如HBase、Hive、Zookeeper?等等都可以基于Hadoop?或者結(jié)合Hadoop?展開運(yùn)用。

針對(duì)文件系統(tǒng)的監(jiān)控一般有三個(gè)主要的問題：一是如何進(jìn)行有效的監(jiān)控；二是在有效監(jiān)控的前提下還能基本不影響分布式系統(tǒng)的運(yùn)行；三是監(jiān)控之后如何處理所得到的信息。如何對(duì)Hadoop的分布式文件系統(tǒng)進(jìn)行有效的監(jiān)控在Hadoop應(yīng)用領(lǐng)域還是一個(gè)空白。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)，本發(fā)明的目的在于提供一種基于Hadoop框架的分布式文件監(jiān)控系統(tǒng)，克服原有Hadoop架構(gòu)環(huán)境下，對(duì)于分布式文件系統(tǒng)監(jiān)控缺失的不足，實(shí)現(xiàn)對(duì)Hadoop分布式文件系統(tǒng)的監(jiān)控。

為了解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

一種基于Hadoop框架的分布式文件監(jiān)控系統(tǒng)，其特征在于，包括Hadoop集群和Client端，所述Hadoop集群中包括一個(gè)NameNode節(jié)點(diǎn)模塊、一個(gè)NameNode代理模塊、至少一個(gè)DataNode節(jié)點(diǎn)模塊、一個(gè)含有配置文件和調(diào)度算法的匹配模塊以及響應(yīng)算法模塊；所述NameNode代理模塊接收Client端發(fā)來的Hadoop?ClientProcotol接口中的函數(shù)信息，并轉(zhuǎn)發(fā)該函數(shù)信息給NameNode節(jié)點(diǎn)模塊，同時(shí)獲取配置文件中配置的信息；NameNode節(jié)點(diǎn)模塊通過Hadoop自帶的心跳機(jī)制管理DataNode節(jié)點(diǎn)模塊，DataNode節(jié)點(diǎn)模塊負(fù)責(zé)存儲(chǔ)和計(jì)算；所述匹配模塊將NameNode代理模塊發(fā)來的參數(shù)與配置文件中的參數(shù)進(jìn)行比對(duì)，若匹配成功則調(diào)用配置文件中對(duì)應(yīng)的算法。

所述NameNode代理模塊連接設(shè)置在Client端與NameNode之間，獲取所有從Client端向NameNode發(fā)送的請(qǐng)求和消息，并向NameNode節(jié)點(diǎn)模塊和匹配模塊進(jìn)行轉(zhuǎn)發(fā)。

本發(fā)明的工作原理為：首先Client的所有操作均會(huì)向NameNode發(fā)送請(qǐng)求和消息，新加入的NameNode代理取代了原來NameNode的角色，獲取從Client發(fā)來的請(qǐng)求和消息。然后NameNode代理把獲取到的請(qǐng)求和消息轉(zhuǎn)發(fā)給NameNode和匹配模塊。NameNode收到這些消息就可以對(duì)DataNode發(fā)出指令，DataNode根據(jù)這些指令可以進(jìn)行添加文件，刪除文件等操作。接著匹配模塊會(huì)讀取配置文件中的參數(shù)，與NameNode代理發(fā)來的消息進(jìn)行匹配。匹配模塊通過多線程的方式來保證不影響系統(tǒng)原本的操作。最后如果匹配成功將會(huì)啟動(dòng)配置文件中配置的算法。這些算法都是事前打包成jar文件，直接使用Hadoop?shell命令即可執(zhí)行。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

一、?由于NameNode代理獲取了所有的請(qǐng)求和消息，因此可以認(rèn)為實(shí)現(xiàn)了對(duì)分布式文件系統(tǒng)的完全監(jiān)控；

二、利用多線程，在監(jiān)控的同時(shí)不影響原系統(tǒng)；