[發明專利]分布式數據存儲方法及系統

有效

• 申請號: 201710288001.4
• 申請日: 2017-04-27
• 公開（公告）號: CN107145306B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 杭州哲信信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/07
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 姚宇吉

本發明提供了一種分布式數據存儲方法，包括以下步驟：將分布式系統的存儲空間分成多個存儲區域，每個區域中設有若干存儲設備，查找并獲得所有存儲設備的起始物理地址、端口信息以及為每一個存儲設備分配唯一的存儲設備標識符；監視每個存儲設備的工作狀態，當存在故障存儲設備時，根據所述起始物理地址、端口信息或者存儲設備標識符中的任意一種或幾種來確定故障存儲設備中的出現故障的部分的具體位置并且確定所述出現故障的全部數據組。采用本發明的方法對失效存儲設備中的失效部分進行數據修復即本發明中所說的第一數據組替換所述失效部分的全部數據組，方便快捷，并且準確率高，節省時間，進而減小了損失。

技術領域

本發明涉及分布式數據存儲技術領域，特別涉及一種分布式數據存儲方法及系統。

背景技術

現有技術中，通過數據冗余來處理磁盤失效的問題，通常是每一份數據都可以存儲于三塊甚至更多塊磁盤上，當某塊磁盤失效時，可以依靠剩下的兩個副本做數據恢復，防止在磁盤損壞或者存儲模塊宕機時數據丟失。但實際上，數據恢復策略必須要得到完善的設計，否則還是會遇到數據丟失的問題。企業在搭建存儲集群時，通常都會同批次購買很多的存儲服務器和磁盤，同批次的磁盤往往具備類似的硬件規格和驅動固件，即可能出現同時失效的情況，在這種情況下，某一塊磁盤開始失效之時，存儲于此塊磁盤上的數據都處于降級的狀態，更壞的是，與之同批次的其他磁盤也隨之失效的概率就會提高，如果此時另外一塊磁盤也失效，則一部分數據將僅剩下一個存活的副本，并且降級程度進一步惡化，如果數據不能盡快修復，降級的數據可能會因最后一個副本所在的磁盤的失效而完全丟失。

處理磁盤失效問題，通常的方案是增加副本數，即由原來的三副本策略修改為四副本，這種簡單粗暴的方案會嚴重增加企業的存儲成本，另外增加副本數之后，數據的寫入性能也會降低，因此不是一個好的方案。

通常而言，用戶的數據都具有明顯的冷熱區別，越熱的數據即越經常被訪問的數據，對于用戶而言也是越重要的數據。這也是計算機系統中著名的局部性原理的一種體現，即用戶在某一天某一時刻訪問的數據在未來仍需被訪問的概率較高。分布式存儲系統都提供了較高的可用性，即使數據的某一個副本損壞，當用戶訪問這個數據時，仍然可以從其他副本中讀取并返回給用戶。但是對于被用戶訪問到的重要的熱點數據，如果不能夠盡快修復，那么如果磁盤繼續損壞，那么這些重要數據將會出現丟失，給用戶帶來的損失也就更大。

發明內容

為解決磁盤損壞不能盡快修復時會出現數據丟失的技術問題，本發明提出一種分布式數據存儲方法及系統來實現。

一種分布式數據存儲方法，包括以下步驟：

將分布式系統的存儲空間分成多個存儲區域，每個區域中設有若干存儲設備，查找并獲得所有存儲設備的起始物理地址、端口信息以及為每一個存儲設備分配唯一的存儲設備標識符；

監視每個存儲設備的工作狀態，當存在故障存儲設備時，根據所述起始物理地址、端口信息或者存儲設備標識符中的任意一種或幾種來確定故障存儲設備中的出現故障的部分的具體位置并且確定所述出現故障的全部數據組；

查詢相同存儲層中存活存儲設備，搜索與出現故障的部分的全部數據組相互對應的第一數據組，在此，所述第一數據組物理地址長度不小于出現故障的部分的全部數據組；

選擇第一數據組替換所述出現故障的部分的全部數據組。

作為一種可實施方式，所述查找并獲得所有存儲設備的起始物理地址、端口信息以及為每一個存儲設備分配唯一的存儲設備標識符，具體包括以下步驟：

根據存儲數據的冷熱程度，為每個存儲層設置一個編碼，為每個存儲設備分配唯一的存儲設備標識符；

根據所述編碼和所述唯一存儲設備標識符，查詢所對應存儲設備的起始物理地址和端口信息。