[發明專利]一種hadoop集群性能的優化方法

在審

• 申請號: 201210410302.7
• 申請日: 2012-10-24
• 公開（公告）號: CN102929667A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 馬慶懷
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F11/30
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

技術領域

本發明涉及高性能集群領域，具體涉及一種hadoop集群性能的優化方法。

背景技術

hadoop技術已經在互聯網領域得到廣泛的應用，同時也得到了學術界的普遍關注。針對hadoop集群優化對于提高系統性能和執行效率具有重大的意義。以往的hadoop集群優化均為設置一個參數后，對系統進行性能測試，得出結果后根據經驗判斷參數設置的效果如何。這樣將會造成太多時間的浪費。如何能快速定位系統性能瓶頸，并根據性能瓶頸進行性能優化是本發明要解決的問題。目前在hadoop集群優化中有大約幾十個參數可以設置，給hadoop集群系統的性能優化帶來了很大的麻煩。

發明內容

針對現有技術的不足，本發明提供一種hadoop集群性能的優化方法，該方法解決了如何能快速定位系統性能瓶頸，并根據性能瓶頸進行性能優化的問題，采用nmon工具來實時監控系統的各項性能指標，性能指標包括磁盤，CPU，內存網絡等，在hadoop文件系統運行過程中及時發現性能瓶頸，及時發現hadoop集群系統設置參數的影響，從而更快更直接的進行hadoop集群系統的性能優化，節省大量的時間。

本發明的目的是采用下述技術方案實現的：

一種hadoop集群性能的優化方法，其改進之處在于，所述方法采用監視工具nmon監視hadoop集群系統的性能指標；所述方法包括下述步驟：

A、安裝監視工具nmon；

B、運行hadoop集群系統。

C、根據運行過程中nmon工具的性能反饋，對hadoop集群參數進行調整，實現優化。

其中，所述安裝監視工具nmon包括下述步驟：

a、從網頁界面下載nmon二進制包；

b、將所述nmon二進制包復制到Hadoop集群的所有節點；

c、使用$NMON_HOME目錄代表放置nmon二進制代碼的位置；

d、選擇作業管理節點jobtracker作為中心節點收集nmon數據；

e、登錄jobtracker中心節點；

f、在所述jobtracker中心節點上創建目錄并通過網絡文件系統服務實現共享；

g、創建腳本在Hadoop集群的所有節點上啟動nmon。

其中，所述步驟b中，所述Hadoop集群的所有節點包括：目錄管理節點Namenode、任務計算節點Datanode、作業管理節點Jobtracker和輔助目錄管理節點SecondNamenode。

其中，所述步驟f包括以下步驟：

（1）在所述jobtracker中心節點上創建目錄；

（2）修改/etc/exports文件；

（3）重新啟動網絡文件系統服務；

（4）在目錄管理節點Namenode、任務計算節點Datanode和輔助目錄管理節點SecondNamenode上創建該目錄并將其掛裝到jobtracker中心節點上的perf_share目錄中。

其中，所述步驟g中，所述腳本包括：-f表示希望把數據保存到文件中，并不在屏幕上顯示；-m表示保存數據的位置；-s?30表示希望每30秒捕捉一次數據；-c?360表示需要360個數據點（即快照），總數據收集時間為30x360秒，即3小時。

其中，所述步驟B中，通過所述監視工具nmon返回hadoop集群系統性能數據確定性能瓶頸，進行hadoop系統配置參數調整。

其中，所述hadoop集群系統的性能指標包括磁盤、CPU和內存網絡。

其中，所述nmon為系統管理、調優和基準測試工具，用于監視hadoop集群系統的性能指標。

其中，所述hadoop系統配置參數調整是一個反復循環的過程。

其中，所述步驟C中，根據運行過程中監視工具nmon的性能反饋，對hadoop集群參數進行調整，包括：

I、統計系統各項數據，包括CPU的使用率，內存使用情，內核統計信息和運行隊列信，磁盤I/O速度、傳輸和讀/寫比，文件系統中的可用空，磁盤適配，網絡I/O速度、傳輸和讀/寫比率，頁面空間和頁面速度，CPU和AIX規范，消耗資源最多的進程，計算機詳細信息和資源，網絡文件系統；

II、尋找調優的點，如果不能再優化，則維持現狀；否則進行優化，繼續進行步驟III；

III、進行hadoop集群系統優化，之后再進行統計測試。

與現有技術比，本發明達到的有益效果是：