[發明專利]分布式存儲系統管理裝置及方法

有效

• 申請號: 201110285802.8
• 申請日: 2011-09-23
• 公開（公告）號: CN103019614A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 李智慧;何坤;余俊;周異
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 隆天國際知識產權代理有限公司 72003
• 代理人: 章侃銥;張浴月

技術領域

本申請涉及分布式存儲技術領域，尤其涉及一種具有高可用存儲失效處理能力的分布式存儲系統管理裝置及方法。

背景技術

傳統的存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式存儲系統采用可擴展的系統結構，通過利用多臺存儲服務器分擔存儲負荷，并利用位置服務器定位存儲信息，不僅提高了系統的可靠性、可用性和存取效率，還使得后續的擴展更為便利。

另一方面，在各種應用環境中，存儲系統中的數據都是寶貴的財富，各種存儲系統均會致力于保證所存儲的數據不因各種原因丟失。在分布式存儲系統中，個別存儲服務器的宕機、停機維護或網絡故障等問題都有可能導致數據的丟失，甚至可能會導致整個存儲系統的不可用，進而會影響到存儲系統所服務的應用系統的可用性。為了避免這種狀況的發生，分布式存儲系統中通常采用以下兩種存儲失效處理機制，同時，這兩種機制也都各自存在一定的缺點。

第一種存儲失效處理機制中，是將兩個不同的物理存儲服務器配置為主從服務器，例如服務器A(主服務器)和服務器B(從服務器)，正常情況下應用系統訪問服務器A進行數據的讀取和寫入，并且寫入服務器A的數據會同步至服務器B；一旦服務器A發生宕機等故障，應用系統便切換至服務器B進行數據讀寫；而在服務器A恢復正常后，再將服務器B的數據回遷到服務器A上。該機制的缺點在于，首先，正常情況下，從主服務器到從服務器的數據同步也會存在延時，當主服務器出現故障時，可能會導致小部分數據無法及時同步到從服務器，從而出現數據丟失；其次，主服務器從故障恢復正常后，需要將從服務器的數據遷回主服務器，由于此期間從服務器的數據一直在不斷寫入，所以這個遷回過程會比較復雜；最后，一旦主服務器、從服務器同時都出現故障，便會導致存儲系統完全不可用。

另外一種新近出現的存儲失效處理機制中，應用系統在進行數據寫入時，是將同一個數據寫入到多個(例如3個)彼此不相關聯的服務器上，只要成功寫入一定數量(例如2個)的服務器即認定為寫入操作完成；而應用系統在進行數據讀取時，便到上述多個服務器上同時讀取，只要從一定數量(例如2個)的服務器上讀取成功便認定為讀取操作完成。由上述可以看出，該機制是通過數據備份的數量來彌補可能的服務器故障所造成的存儲失效，其缺點在于，應用系統的數據讀取和寫入操作都需要同時訪問多個服務器，然而寫入操作并不能保證每次寫入的數據完全不出差錯，而讀取操作便可能會讀取到不一致的數據，這樣應用系統在讀取數據時還需要進行數據校驗并修復不正確的數據，因此整個過程實現比較復雜且會導致系統性能變差。

發明內容

本申請的實施例旨在提供一種分布式存儲系統管理裝置及方法，以解決上述分布式系統中存儲失效處理機制所存在的問題。

為實現上述目的，本申請的實施例提供了一種分布式存儲系統管理裝置，應用于包括N個存儲服務器的分布式存儲系統，該裝置包括分組管理單元、數據寫入單元及數據讀取單元，其中，

所述分組管理單元用于將所述N個存儲服務器中的M個存儲服務器分為x個對等序列并形成y個虛擬節點組，且每個虛擬節點組中包括z個彼此屬于不同對等序列的存儲服務器，其余N-M個存儲服務器為臨時存儲服務器，上述N、M、x、y為自然數常量且滿足：N≥3，2≤M＜N，x≥2，y≥1，x·y≥M；z為自然數變量且滿足：2≤z≤x；

所述數據寫入單元用于將數據寫入到選擇的一個虛擬節點組的每個存儲服務器中，并在該虛擬節點組的部分存儲服務器不可用時，將該數據寫入到該虛擬節點組剩余可用的存儲服務器以及所述臨時存儲服務器中；

所述數據讀取單元用于從數據被寫入的虛擬節點組中任一可用的存儲服務器處讀取該數據。

本申請的實施例還提供一種分布式存儲系統管理方法，應用于包括N個存儲服務器的分布式存儲系統，并包括以下步驟：

S1.將M個存儲服務器分為x個對等序列并形成y個虛擬節點組，且每個虛擬節點組中包括z個彼此屬于不同對等序列的存儲服務器，其余N-M個存儲服務器為臨時存儲服務器，上述N、M、x、y為自然數常量且滿足：N≥3，2≤M＜N，x≥2，y≥1，x·y≥M；z為自然數變量且滿足：2≤z≤x；

S21.在執行數據寫入操作時將數據寫入到選擇的一個虛擬節點組的每個存儲服務器中，并在該虛擬節點組的部分存儲服務器不可用時，將該數據寫入到該虛擬節點組剩余可用的存儲服務器以及所述臨時存儲服務器中；