[發明專利]面向HDFS/Hadoop存儲集群的資源監控系統及方法

有效

• 申請號: 201310486601.3
• 申請日: 2013-10-17
• 公開（公告）號: CN103533058B
• 公開（公告）日: 2017-02-08
• 發明（設計）人: 盧義婉;葉保留;陸桑璐
• 申請（專利權）人: 南京大學鎮江高新技術研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26
• 代理公司: 江蘇圣典律師事務所32237
• 代理人: 賀翔

1.一種面向HDFS/Hadoop存儲集群的資源監控系統，包括HDFS存儲管理服務器名稱節點、HDFS存儲集群中的若干數據節點，其特征在于包括：

1）狀態參考信息收集模塊：部署在HDFS存儲集群的數據節點上，收集數據讀寫性能相關的關鍵狀態信息，支持數據節點端多維資源信息的實時收集與保存，并以一定頻率實時更新與管理；

2）心跳協議優化模塊：部署在HDFS存儲集群的數據節點上，負責將節點參考信息傳送到名稱節點，以一定的頻率實時獲取數據節點的實時狀態信息，通過優化心跳傳輸協議，以一定的頻率RPC調用名稱節點的傳輸方法，傳送當前節點的實時狀態信息，保證傳送過去的數據最新，支持多維信息的推送；

3）參考信息處理模塊：部署在HDFS存儲管理服務器名稱節點，名稱節點得到實時狀態數據后，通過優化相關數據結構和方法，處理數據節點傳送過來的狀態信息，更新和保存數據節點的最新性能狀態參考信息，使名稱節點端實時了解數據節點提供數據存儲和訪問的性能狀態。

2.一種面向HDFS/Hadoop存儲集群的資源監控方法，其特征在于包括以下步驟：

1）從系統需要的角度，確定數據節點端收集的狀態參考信息，將影響讀和寫性能的關鍵影響因素磁盤I/O使用率、CPU使用率和內存使用率這三者共同納入資源監控的狀態信息，加入類DatanodeStat用于存儲上述三個新增入的狀態信息；

2）數據節點啟動后，后臺收集狀態信息的線程collectDatanodeStat在數據節點端實時獲取集群中存儲節點的實時狀態信息，更新到DatanodeStat類實例中，保證它所記錄的參考數據信息能反映當前節點的狀態；

3）數據節點實時從DatanodeStat對象中獲取數據節點的實時狀態信息磁盤I/O使用率、CPU使用率和內存使用率，線程collectDatanodeStat在數據節點端實時獲取集群中存儲節點的實時狀態信息；新加入的狀態信息從源監控模塊里得到，收集性能參考信息的線程不斷的獲取節點狀態信息，并將數據保存到全局DatanodeStat類實例里，每收集一次信息就對其更新一次，保證數據最新；

4）心跳協議sendHeartbeat負責將數據節點的狀態信息發送給名稱節點，之后名稱節點把心跳協議的工作移交給FSNamesystem的handleHeartbeat，更新名稱節點中對這個數據節點的狀態信息；

5）名稱節點得到實時狀態數據后，通過優化相關數據結構和方法，處理數據節點傳送過來的狀態信息，更新和保存數據節點的最新性能狀態參考信息，名稱節點端實時了解數據節點提供存儲訪問服務的性能狀況。

3.根據權利要求2所述的面向HDFS/Hadoop存儲集群的資源監控方法，其特征在于步驟2）具體流程是：

21）數據節點啟動后臺收集狀態信息的線程collectDatanodeStat，在數據節點端實時獲取集群中存儲節點的實時狀態信息；

22）數據節點從系統文件/proc/stat中獲取內核活動信息，從不同的時間點對數據采樣，計算出CPU利用率；

23）數據節點從系統文件/proc/meminfo文件中獲取信息描述系統內存使用狀況，從不同的時間點對數據采樣，計算出內存利用率；

24）數據節點從iostat中可以得到磁盤讀和寫次數、合并讀和合并寫次數等，磁盤I/O利用率則可以用單位時間讀寫扇區次數rsec/s、?wsec/s和設備I/O操作的平均服務時間svctm，得到單位時間內I/O操作所占的百分比，util百分比=(rsec/s+?wsec/s)*(?svctm/1000)；

25）從數據節點的Linux系統中獲取到磁盤I/O使用率、CPU使用率和內存使用率獲這些狀態信息后，通過取后set方法更新DatanodeStat中的各成員，保證它所記錄的參考數據信息能反映當前節點的狀態；

26）線程collectDatanodeStat不斷的重復上面132）~135）的工作，保證DatanodeStat類對象中保存的是當前數據節點最新狀態信息。