[發明專利]基于虛擬節點存儲優化的Swift負載均衡方法

有效

• 申請號: 201610171589.0
• 申請日: 2016-03-24
• 公開（公告）號: CN105657064B
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 楊鵬;趙丹丹;袁志偉;劉旋
• 申請（專利權）人: 東南大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李玉平

本發明公開了一種基于虛擬節點存儲優化的Swift負載均衡方法，該方法可以動態均衡云存儲服務組件Swift中各存儲服務器的負載。與傳統負載均衡方法不同的是，該方法既非單一的全局負載均衡，也非單一的局部負載均衡，而是通過采用分組、合并的機制，實現全局和局部相結合的動態負載均衡。該方法既能保證云存儲系統的負載保持平衡狀態，提升存儲資源的利用率，又能提高云存儲系統的存取效率，更加適用于大規模、分布式云存儲服務需求。

技術領域

本發明涉及一種基于虛擬節點存儲優化的Swift負載均衡方法，該方法可以用于實現大規模、分布式的存儲系統，屬于互聯網技術領域。

背景技術

Swift是開源云計算平臺OpenStack中的云存儲服務組件，是目前業界非常重要的一種云存儲解決方案。Swift的對象存取策略主要采取兩層映射機制，該機制在對象與存儲服務器之間增加一個虛擬節點層，一起形成兩層映射：(1)對象層與虛擬節點層之間的映射，該映射主要通過一致性哈希算法完成；(2)虛擬節點層與存儲服務器層之間的映射，該映射主要根據存儲服務器的物理位置，將虛擬節點分散地分布于服務器集群中。其中第一層映射較為復雜，也是影響整個Swift存取性能的關鍵。在兩層映射關系下，Swift中對象的存取過程如圖1所示，主要分為兩步：第一步，利用哈希函數對請求中的對象進行哈希，根據哈希計算的結果找到對應的虛擬節點；第二步，根據第二層映射找到該虛擬節點對應的存儲服務器，進而完成對象的存儲或讀取。

一致性哈希算法(Consistent Hash)在Swift存取過程中起到非常重要的作用，其原理如圖2所示：該算法維護一個邏輯環(Ring環)，它可視為一個環形的Hash空間，對象和虛擬節點都將映射到此Hash空間中。當有存儲對象的請求到來時，利用哈希函數將對象映射到環上某一點，并以該位置為起點，沿環順時針方向遇到的第一個虛擬節點為該對象所對應的虛擬節點。如圖2所示，對象Object2在環上的位置是L2，則Object2映射到虛擬節點Vnode3。Swift將虛擬節點均勻地分布在Ring環上，確保每個虛擬節點可存儲的對象個數相等。但是，由于每個對象所占存儲空間大小存在差異，所以這樣做并不能保證存儲服務器的空間利用率負載均衡。此外，當在Ring環上順時針方向遇到的第一個虛擬節點不滿足存儲條件時，Swift將繼續沿順時針方向直至找到合適的虛擬節點為止，最壞情況下將繞環一周，影響對象的存取效率。

由于Swift存儲對象具有隨機性，并且不同存儲服務器的性能不同，為了避免因存儲服務器負載不均而使個別存儲服務器出現存儲瓶頸，Swift在存儲對象時需要對各存儲服務器進行負載均衡。實現負載均衡的關鍵在于，如何以盡可能小的開銷來平衡各服務器的負載，從而提高存儲系統的資源利用率。從Swift存儲的負載均衡需求來看，目前已有的一些動態負載均衡方法，在效率、可擴展性和性能等方面仍存在欠缺。例如，基于加權最小連接(weighted least-connections)的方法，用權值來反映各服務器間的性能差異，并采用請求的連接數作為衡量負載量的標準，在分配請求時盡可能使服務器的連接數與性能權值成比例，但該方法并沒有考慮請求之間的差異。而基于雙加權最小連接的方法雖然考慮了請求之間的差異，并因此增加了表示請求的權值，但該方法對于Swift而言，由于比較次數過多，致使效率較低。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種基于虛擬節點存儲優化的Swift負載均衡方法。該方法綜合考慮了存儲服務器的性能差異和對象所占空間的大小差異，通過采用分組、合并的機制，可實現全局和局部相結合的動態負載均衡，提升云存儲系統的資源利用率和提高云存儲系統的存取效率，更加適用于大規模、分布式云存儲服務需求。

技術方案：一種基于虛擬節點存儲優化的Swift負載均衡方法，包括如下步驟：