[發明專利]一種分布式存儲系統的數據分布控制方法、系統及裝置

有效

• 申請號: 201710036337.1
• 申請日: 2017-01-17
• 公開（公告）號: CN108319618B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 姚文輝;陸靖;呂鵬程;常艷軍;朱家稷
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/182;H04L67/1097
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 龍洪;栗若木

1.一種分布式存儲系統的數據分布控制方法，包括：

從分布式存儲系統提供的多種分布策略中確定第一數據采用的分布策略，所述多種分布策略包括跨容錯域分布的策略和在一個容錯域內分布的策略；

根據采用的所述分布策略和分布式存儲系統的拓撲關系，為所述第一數據分配容錯域并進行數據寫入，包括：

如果第一數據采用域內分布的策略，則為所述第一數據分配所述第一數據的生成者所在的容錯域，且優先將所述第一數據的多個副本寫入所分配容錯域內的同一存儲節點；

如果第一數據采用跨域分布的策略并確定了所跨的容錯域的層次，則在確定的層次為第一數據分配多個容錯域，且優先在上一層次的同一容錯域內來分配；

第一數據采用跨容錯域分布的策略進行數據寫入時，采用同時寫入方式，在分布式存儲系統正常容錯域的數量M大于或等于采用的所述分布策略要求的容錯域數量N時，為所述第一數據分配N個容錯域并同時寫入；在MN時，為所述第一數據分配M個容錯域并同時寫入，在正常容錯域的數量達到N個后，再通過數據復制使所述第一數據分布到N個容錯域，其中N,M為正整數，N≥2；或者

采用分時寫入方式，先將所述第一數據寫入到分配的一個容錯域，再通過數據復制使所述第一數據分布到N個容錯域。

2.如權利要求1所述的方法，其特征在于：

從分布式存儲系統提供的多種分布策略中確定第一數據采用的分布策略，包括：

根據所述第一數據的可用性要求，確定所述第一數據采用的分布策略；或者

將用戶為所述第一數據指定的分布策略，確定為所述第一數據采用的分布策略；或者

根據用戶為所述第一數據指定的一個或多個容錯域，確定所述第一數據采用的分布策略。

3.如權利要求2所述的方法，其特征在于：

根據所述第一數據的可用性要求，確定所述第一數據采用的分布策略，包括：

如第一數據為要求在單個容錯域故障時仍可訪問的高可用數據，確定所述第一數據采用跨容錯域分布的策略；

如第一數據為在容錯域故障時可停止訪問并重新生成的低可用數據，確定所述第一數據采用在一個容錯域內分布的策略；

所述第一數據的可用性要求根據系統默認配置或用戶定制或外部系統的指示確定。

4.如權利要求1所述的方法，其特征在于：

所述分布式存儲系統劃分有機器層、接入層、匯聚層、數據中心層和地域層中的一個或多個層次的容錯域。

5.如權利要求1所述的方法，其特征在于：

所述確定第一數據采用的分布策略，包括：在確定所述第一數據采用跨容錯域分布的策略時，還根據系統默認配置或用戶定制確定所跨的容錯域的層次。

6.如權利要求4所述的方法，其特征在于：

為所述第一數據分配容錯域并進行數據寫入之后，所述方法還包括：

因機器層的容錯域故障導致所述第一數據的副本缺失時，立即發起數據復制以補充所述第一數據缺失的副本；

除機器層之外其他層的容錯域故障導致所述第一數據的副本缺失時，先經過設定的故障等待時間，所述故障等待時間到時后，如所述故障還未排除，再發起數據復制以補充所述第一數據缺失的副本。

7.如權利要求4所述的方法，其特征在于：

為所述第一數據分配容錯域并進行數據寫入之后，所述方法還包括：

在所述第一數據的副本缺失而發起的數據復制過程中，先確定數據復制的源位置和目標位置，在所述源位置到目標位置經過的每一層次的容錯域上申請相應的流量額度，申請成功后再開始數據復制。