[發明專利]面向HDFS/Hadoop存儲集群的資源監控系統及方法

有效

• 申請號: 201310486601.3
• 申請日: 2013-10-17
• 公開（公告）號: CN103533058B
• 公開（公告）日: 2017-02-08
• 發明（設計）人: 盧義婉;葉保留;陸桑璐
• 申請（專利權）人: 南京大學鎮江高新技術研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26
• 代理公司: 江蘇圣典律師事務所32237
• 代理人: 賀翔

?

技術領域

本發明涉及HDFS后臺云存儲的存儲管理服務器名稱節點、存儲集群中的若干數據節點，具體是通過狀態參考信息收集模塊管理、心跳協議優化模塊管理、參考信息處理模塊管理，針對HDFS僅能對磁盤相關性能參數進行監控這一缺陷，設計并實現了資源監控模塊，支持對多維資源信息的實時收集與管理，優化HDFS的心跳協議及相關數據結構，在支持多維信息更新的同時，增強了對節點動態加入的動態集成能力，為動態負載均衡優化設計提供了決策依據。

背景技術

近年來，隨著網絡及計算能力的不斷提高，面向新型分布式環境的數據存儲技術受到業界廣泛關注，云存儲更因資源聚集復用能力及擴展性強、易于部署而成為支持“大數據處理”的熱點支撐技術而備受青睞。在面向海量數據存儲的云存儲應用領域，HDFS由于其良好特性和開源實現，漸漸成為云存儲基本支撐平臺的主流應用文件系統，無論在學術界還是工業界都有各種基于HDFS的研究和應用。

分布式云存儲系統HDFS系統的應用場景是面對大規模用戶的文件訪問請求，工作負載主要來自于文件存儲要求和訪問請求，處理多集中于讀和寫為基礎，但HDFS僅能對磁盤容量相關性能參數進行監控，沒有針對讀寫性能優化提供支持的資源監控。針對此問題，本發明設計并實現了一種面向HDFS/Hadoop存儲集群的資源實時監控方法，彌補了HDFS不能對影響數據讀寫性能的狀態信息監控的缺陷，動態收集數據節點實時信息，并將信息數據傳輸到名稱節點。

發明內容

本發明所要解決的技術問題是針對HDFS僅能對磁盤容量相關性能參數進行監控，沒有針對讀寫性能優化提供支持的資源監控的局限性，提出了一種面向HDFS/Hadoop存儲集群的資源實時監控系統及其監控方法，該系統收集數據讀寫性能相關的關鍵狀態信息磁盤I/O使用率、CPU使用率和內存使用率，支持數據節點端多維資源信息的實時收集，名稱節點端并以一定頻率實時更新與管理，實現名稱節點對于數據節點狀態性能信息的實時監控和集中式管理。

本發明所述的一種面向HDFS/Hadoop存儲集群的資源監控系統，包括HDFS存儲管理服務器名稱節點、HDFS存儲集群中的若干數據節點，此外其還設有：

1）狀態參考信息收集模塊：部署在HDFS存儲集群的數據節點上，收集數據讀寫性能相關的關鍵狀態信息，支持數據節點端多維資源信息的實時收集與保存，并以一定頻率實時更新與管理；

2）心跳協議優化模塊：部署在HDFS存儲集群的數據節點上，負責將節點參考信息傳送到名稱節點，以一定的頻率實時獲取數據節點的實時狀態信息，通過優化心跳傳輸協議，以一定的頻率RPC調用名稱節點的傳輸方法，傳送當前節點的實時狀態信息，保證傳送過去的數據最新，支持多維信息的推送；

3）參考信息處理模塊：部署在HDFS存儲管理服務器名稱節點，名稱節點得到實時狀態數據后，通過優化相關數據結構和方法，處理數據節點傳送過來的狀態信息，更新和保存數據節點的最新性能狀態參考信息，使名稱節點端實時了解數據節點提供數據存儲和訪問的性能狀態。

本發明還提供了一種面向HDFS/Hadoop存儲集群的資源監控方法，其包括以下步驟：

1）從系統需要的角度，確定數據節點端收集的狀態參考信息，將影響讀和寫性能的關鍵影響因素磁盤I/O使用率、CPU使用率和內存使用率這三者共同納入資源監控的狀態信息，加入類DatanodeStat用于存儲上述三個新增入的狀態信息；

2）數據節點啟動后，后臺收集狀態信息的線程collectDatanodeStat在數據節點端實時獲取集群中存儲節點的實時狀態信息，更新到DatanodeStat類實例中，保證它所記錄的參考數據信息能反映當前節點的狀態；

3）數據節點實時從DatanodeStat對象中獲取數據節點的實時狀態信息磁盤I/O使用率、CPU使用率和內存使用率，線程collectDatanodeStat在數據節點端實時獲取集群中存儲節點的實時狀態信息；新加入的狀態信息從源監控模塊里得到，收集性能參考信息的線程不斷的獲取節點狀態信息，并將數據保存到全局DatanodeStat類實例里，每收集一次信息就對其更新一次，保證數據最新；

4）心跳協議sendHeartbeat負責將數據節點的狀態信息發送給名稱節點，之后名稱節點把心跳協議的工作移交給FSNamesystem的handleHeartbeat，更新名稱節點中對這個數據節點的狀態信息；