[發明專利]一種集群存儲自動負載均衡的系統及方法

有效

• 申請號: 201210359628.1
• 申請日: 2012-09-24
• 公開（公告）號: CN102857577A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 劉愛貴
• 申請（專利權）人: 北京聯創信安科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬曉亞

技術領域

本發明涉及集群存儲管理技術領域，尤其涉及一種集群存儲自動負載均衡的系統及方法。

背景技術

隨著計算規模的擴大和新興應用模式（如云計算、物聯網）的出現，大數據應用與日俱增。集群存儲是一種橫向擴展（Scale-out）的存儲架構，具有容量和性能線性擴展的優勢。負載均衡是集群存儲提供高性能的關鍵技術之一，能夠保證集群高性能的穩定性和高的QoS服務質量，并使得集群系統具備良好的彈性以適應集群的動態擴展。

集群存儲是一種開放式的存儲架構，采用分布式的文件系統，將多臺物理存儲設備中的存儲空間聚合成一個能夠給應用服務器提供統一訪問接口和管理界面的存儲池（也叫統一命名空間），通過該訪問接口非常容易地管理存儲池后端物理存儲設備上所有的磁盤，充分發揮存儲設備的性能和磁盤利用率。數據將按照一定的負載均衡策略從多臺存儲設備上存儲和讀取，以獲得更高的存儲性能。集群存儲通過分布式文件系統的作用，會在前端訪問和后端存儲都實現負載均衡。前端訪問集群存儲的操作，通過負載均衡策略將訪問分散到集群存儲的各個存儲節點上，大大減輕了每個節點的負載；后端存儲的負載均衡，通過開放式的架構和后端網絡，數據會分布在所有節點上進行存放和讀取。本文中負載均衡專指后端存儲的負載均衡，每個讀寫操作都由更多的節點參與，大大提高讀寫操作的性能。

分布式存儲可以通過軟件技術整合利用眾多低廉的存儲設備來支撐海量的存儲。由于服務器之間的資源利用率經常不同、以及集群中經常動態的增刪服務器，導致服務器的數據分布不均衡。而數據的均衡分布是提供高效服務的關鍵之一，分布式文件系統作為分布式存儲的核心，其數據的再均衡處理（Data-Rebalance）顯得至關重要。

高端商業集群存儲都有自己Data-Rebalance功能，這已然成為了商業集群存儲系統不可或缺的標準功能之一，諸如Isilon、Infortrend等。其中Isilon的核心文件系統OneFS的AutoBalance功能模塊，實現了自動數據負載均衡。系統后臺根據忙閑程度，自動的發起Data?Rebalance操作，占用很少系統資源，不影響上層客戶端的訪問應用，不需要任何人工干預，也不要需要客戶端多任何操作。

開源分布式文件系統中也大多有簡易的Data-Rebalance功能，例如Glusterfs、MooseFS、Lustre、Hadoop/HDFS等。GlusterFS是Scale-Out存儲解決方案Gluster的核心，它是一個開源的分布式文件系統，具有強大的橫向擴展能力，通過擴展能夠支持數PB存儲容量和處理數千客戶端。GlusterFS借助TCP/IP或InfiniBand?RDMA網絡將物理分布的存儲資源聚集在一起，使用單一全局命名空間來管理數據。GlusterFS基于可堆疊的用戶空間設計，可為各種不同的數據負載提供優異的性能。

ESVA是一個塊級的集群存儲系統，通過Scale-out架構來實現集群存儲容量與性能線性增長，并實現負載均衡。ESVA充分使用容量，同時可以確保用戶最好地利用存儲處理能力。在ESVA的scale-out架構中，無需任何手動操作就可以輕松實現性能優化。當主機端向存儲池發出一個寫請求，其組成數據塊將以一種平衡的方式分派給各成員存儲系統。圖1為現有技術中集群存儲負載均衡的示意圖。如圖1所示，一個寫請求由6個數據塊組成，數據塊均勻分布在2個成員存儲系統中，每個成員系統有3個數據塊；當一個新成員存儲系統被加入，數據塊將被遷移確保所有成員平均負載，每個成員負載2個數據塊。用戶添加或刪除磁盤陣列系統使配置發生了變化，現有的數據將被遷移以確保負載平衡，優化的狀態仍將保持，自動的、連續的負載平衡能夠充分利用性能，提高生產力。

上述主流的集群存儲系統基本都支持負載均衡功能，以保持集群各節點的數據分布和容量基本均衡，但現有的負載均衡技術在某些方面也存在不足：1）手動執行，需要由管理員擇機進行操作，無法實現自動執行；2）離線執行，進行負載均衡時需要集群系統暫停服務，造成業務中斷；3）影響前端性能，執行時未考慮各節點工作負載，容易導致系統過載，影響正常業務訪問；4）單節點執行，由某個節點負責執行負載均衡，無法做到并發執行，性能低下并且耗時較長。

由于集群存儲系統設計復雜性和需求的不同，商業和開源解決方案在負載均衡功能實現上均有所取舍，亟需一種能夠實現自動化、智能化、在線和并發執行的集群存儲負載均衡處理策略。

發明內容