[發明專利]一種云環境下分布式文件系統的動態負載均衡方法

在審

• 申請號: 201711477732.X
• 申請日: 2017-12-29
• 公開（公告）號: CN108200156A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 楊庚;吳瑤瑤;白雙杰;劉國秀;馬可
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

本發明公布了一種云環境下分布式文件系統的動態負載均衡方法，該方法主要包括：獲取云環境下分布式文件系統所有節點的信息，判斷文件系統是否平衡，根據每個節點的磁盤空間使用率、CPU利用率、內存利用率、磁盤I/O占用率、網絡帶寬占用率計算出均衡時需要的閾值，根據該閾值和磁盤空間使用率對文件系統的負載進行失衡調整。本方法支持云計算任務執行的同時對文件系統進行負載均衡，通過對節點的監測信息不斷對負載進行調整，提高云計算對文件系統的執行效率。

技術領域

本發明涉及一種云環境下對分布式文件系統的負載進行動態均衡的方法，屬于大數據云計算領域。

背景技術

隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長，目前所積累的數據量都被上傳并存儲在分布式文件系統中，在有效利用和處理這些數據的同時，保證分布式文件系統的負載均衡，成為對分布式文件系統的研究熱點之一。

HDFS作為分布式文件系統的典型代表，是一種可擴展的主從分布式文件系統。HDFS在數據存放的過程中，數據塊的存放是隨機的，這種存儲方式很容易造成節點間數據存儲的不平衡，使得負載失衡，這樣我們在對數據操作的過程中會造成資源的分配不均衡，很大程度上降低了并行度，浪費了云計算平臺的計算能力。一種可行方案是對HDFS數據存放模式進行改進，可以根據每個節點的當前負載和節點的磁盤大小按比例進行數據塊的放置。

balancer算法是HDFS中的一個對負載進行均衡的算法，該算法根據當前磁盤使用情況和閾值對文件系統進行均衡調整，在調整的過程中可以在不丟失數據塊的前提下進行負載均衡。雖然該算法可以作為均衡負載的一種有效算法，但是在影響該算法的參數中，閾值λ的確定是用戶根據當前磁盤的使用狀態進行主觀的取定，這樣就造成了在均衡過程中的人為主觀性，對均衡的效果有很大影響，而且該算法需要用戶去調用才會實現，在對分布式文件系統操作的過程中我們很難主觀判斷集群的負載程度以及閾值該如何確定。

發明內容

本發明所要解決的技術問題是針對背景技術的缺陷，提供一種云環境下對分布式文件系統的負載進行動態均衡的方法，在保證數據不丟失和操作正常進行的同時，可以根據當前節點的磁盤空間使用率和當前任務的繁忙程度進行負載均衡，提高了任務的執行效率和負載的均衡程度。

本發明為了解決上述技術問題，采用如下技術方案：

一種云環境下分布式文件系統的負載均衡方法，包括以下步驟：

步驟一、從Hadoop集群獲取每個節點的信息；

步驟二、根據節點信息計算出均衡時需要的閾值；

步驟三、根據節點的磁盤空間使用率和閾值判斷集群是否均衡，若均衡轉步驟一，否則轉步驟四；

步驟四、根據計算的閾值對分布式文件系統進行負載均衡調整。

進一步的，本發明所提出的云環境下分布式文件系統的負載均衡方法，步驟一中獲取每個節點的信息，節點信息包括：磁盤空間使用率、CPU利用率、內存利用率、磁盤I/O占用率、網絡帶寬占用率。

進一步的，本發明所提出的云環境下分布式文件系統的負載均衡方法，節點信息的獲取步驟如下：

1.1、通過指令hdfs dfsadmin–report查看集群狀態獲取文件系統的磁盤空間使用率；

1.2、讀取節點proc文件夾下的stat文件獲取CPU利用率；

1.3、讀取節點proc文件夾下的meminfo文件獲取內存利用率；

1.4、通過iostat命令監控IO負載情況，獲取I/O占用率；

1.5、讀取節點proc/net文件夾下的dev文件，獲取網絡帶寬占用率。