[發明專利]一種hadoop集群性能的優化方法

在審

• 申請號: 201210410302.7
• 申請日: 2012-10-24
• 公開（公告）號: CN102929667A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 馬慶懷
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F11/30
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種hadoop集群性能的優化方法，其特征在于，所述方法采用監視工具nmon監視hadoop集群系統的性能指標；所述方法包括下述步驟：

A、安裝監視工具nmon；

B、運行hadoop集群系統。

C、根據運行過程中nmon工具的性能反饋，對hadoop集群參數進行調整，實現優化。

2.如權利要求1所述的hadoop集群性能的優化方法，其特征在于，所述安裝監視工具nmon包括下述步驟：

a、從網頁界面下載nmon二進制包；

b、將所述nmon二進制包復制到Hadoop集群的所有節點；

c、使用$NMON_HOME目錄代表放置nmon二進制代碼的位置；

d、選擇作業管理節點jobtracker作為中心節點收集nmon數據；

e、登錄jobtracker中心節點；

f、在所述jobtracker中心節點上創建目錄并通過網絡文件系統服務實現共享；

g、創建腳本在Hadoop集群的所有節點上啟動nmon。

3.如權利要求2所述的hadoop集群性能的優化方法，其特征在于，所述步驟b中，所述Hadoop集群的所有節點包括：目錄管理節點Namenode、任務計算節點Datanode、作業管理節點Jobtracker和輔助目錄管理節點SecondNamenode。

4.如權利要求2所述的hadoop集群性能的優化方法，其特征在于，所述步驟f包括以下步驟：

（1）在所述jobtracker中心節點上創建目錄；

（2）修改/etc/exports文件；

（3）重新啟動網絡文件系統服務；

（4）在目錄管理節點Namenode、任務計算節點Datanode和輔助目錄管理節點SecondNamenode上創建該目錄并將其掛裝到jobtracker中心節點上的perf_share目錄中。

5.如權利要求2所述的hadoop集群性能的優化方法，其特征在于，所述步驟g中，所述腳本包括：-f表示希望把數據保存到文件中，并不在屏幕上顯示；-m表示保存數據的位置；-s?30表示希望每30秒捕捉一次數據；-c?360表示需要360個數據點（即快照），總數據收集時間為30x360秒，即3小時。

6.如權利要求1所述的hadoop集群性能的優化方法，其特征在于，所述步驟B中，通過所述監視工具nmon返回hadoop集群系統性能數據確定性能瓶頸，進行hadoop系統配置參數調整。

7.如權利要求1所述的hadoop集群性能的優化方法，其特征在于，所述hadoop集群系統的性能指標包括磁盤、CPU和內存網絡。

8.如權利要求1所述的hadoop集群性能的優化方法，其特征在于，所述nmon為系統管理、調優和基準測試工具，用于監視hadoop集群系統的性能指標。

9.如權利要求1所述的hadoop集群性能的優化方法，其特征在于，所述hadoop系統配置參數調整是一個反復循環的過程。

10.如權利要求1所述的hadoop集群性能的優化方法，其特征在于，所述步驟C中，根據運行過程中監視工具nmon的性能反饋，對hadoop集群參數進行調整，包括：

I、統計系統各項數據，包括CPU的使用率，內存使用情，內核統計信息和運行隊列信，磁盤I/O速度、傳輸和讀/寫比，文件系統中的可用空，磁盤適配，網絡I/O速度、傳輸和讀/寫比率，頁面空間和頁面速度，CPU和AIX規范，消耗資源最多的進程，計算機詳細信息和資源，網絡文件系統；

II、尋找調優的點，如果不能再優化，則維持現狀；否則進行優化，繼續進行步驟III；

III、進行hadoop集群系統優化，之后再進行統計測試。