[發明專利]數據單元副本放置方法、裝置、電子設備及系統

有效

• 申請號: 202110089492.6
• 申請日: 2021-01-22
• 公開（公告）號: CN113157660B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 汪翔;沈春輝
• 申請（專利權）人: 淘寶（中國）軟件有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/11
• 代理公司: 北京博雅睿泉專利代理事務所(特殊普通合伙) 11442
• 代理人: 郭少晶

提出了一種分布式系統中數據單元副本放置方法、裝置以及電子設備。該方法包括：接收數據單元的寫入請求，該寫入請求中至少包括需要寫入的數據單元副本數量和放置參數，放置參數包括可用組的高度參數和最小可用組參數，可用組是發生故障時單個節點故障對數據單元的可用性的影響范圍，高度參數用于描述數據單元的可用性級別，最小可用組參數用于描述放置副本的可用組數量；根據放置參數，確定分布式系統中用于寫入數據單元副本的節點；將數據單元副本寫入所確定的節點，并記錄數據單元副本在分布式系統中的分布信息。本說明書實施例中，使用參數化的方式表達數據單元副本放置策略，可以應用于任意網絡拓撲結構的分布式系統中。

技術領域

本說明書實施例涉及計算機技術領域，更具體的，涉及一種分布式系統中數據單元副本放置方法、分布式系統中數據單元副本放置裝置、電子設備、計算機可讀存儲介質及系統。

背景技術

分布式系統利用分布式系統軟件將多個節點的計算、存儲資源通過網絡進行整合，提供底層透明的數據存儲、數據庫、大數據計算等服務。這樣的分布式系統已普遍應用于互聯網、物聯網、智能工業、商業智能、信息管理等領域。

分布式系統領域中的一大核心課題是可用性。就單一節點/設備而言，發生故障是小概率事件。而在大型分布式系統中，大量的節點通過網絡設備連接協同提供服務。在大量節點/設備樣本下，一個分布式系統中任一節點或網絡設備發生故障是經常性事件。如何從故障中恢復、減少故障影響，是設計分布式系統的必需要素。以下是幾種常見的故障：

1、單機故障：因單個節點因硬件、電源等原因發生故障宕機，單節點不可用；

2、機架故障：多個節點通過一個機架聯入網絡，因機架電源或網絡不可用導致該機架內所有節點不可用；

3、核心交換機故障：多個機架通過核心交換機接入主網絡，當這樣的核心交換機發生故障，可能導致從該核心交換機聯入主網絡的所有節點不可用；

4、數據中心故障：數據中心的供電設備或網絡連接設備出現問題時，可能導致接入數據中心中的所有節點不可用。

多數據單元副本技術是分布式系統中最常見的設計之一。其核心思想是將同一數據單元放置于多個節點中。當分布式系統出現故障時，可能會出現多個節點上該數據單元副本不可用的情況。但只要該數據單元副本的可用數據單元副本數大于0，則該數據單元依然可用。

分布式系統通過數據單元副本放置方法決定如何將數據單元副本放置到各個節點上。為了對抗不同級別的故障，數據單元副本放置策略也有所不同。

一般來說，當數據單元副本放置的節點跨越更高層級的網絡拓撲時，其擁有更高級別的可用性。如當數據單元副本跨越多個機架進行放置時，其能容忍機架級別的故障。當數據單元副本跨越多個核心交換機放置時，其能容忍核心交換機級別的故障。當數據單元副本跨越多個數據中心時，其能容忍數據中心級別的故障。而數據單元副本放置跨越更高層級的網絡拓撲時，往往意味著更高的網絡開銷與讀寫延遲。跨越數據中心的流量相比跨越機架的流量價格更昂貴，延遲更高。

在Hadoop分布式文件系統(HDFS)中，數據單元副本放置方法通常有兩種：一是不感知機架的數據單元副本放置方法。數據的多份數據單元副本隨機放置在任意節點。當多份數據單元副本被放置于同一機架，且機架故障時，其數據單元變得不可用。二是機架感知的數據單元副本放置方法。可感知一層機架，數據單元副本會優先在本地放置一份，然后將數據單元副本盡可能的散布到其他機架。使得任意一機架發生故障時，其數據單元依然可用。但更上層的設備發生故障，如核心交換機故障時，其數據可能分布在同一核心交換機的多個機架上，其數據單元依然不可用。

上述兩種數據單元副本放置方法的缺點在于，上述方案在一套分布式系統中對所有的數據單元使用相同的數據單元副本放置方法，無法在同一套分布式系統中滿足不同數據單元的個性化可用性保障級別需求，且無法應用于變化的多層網絡拓撲，僅支持機架級別故障的可用性。

發明內容