[發(fā)明專利]分布式存儲(chǔ)系統(tǒng)中故障節(jié)點(diǎn)修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111411267.6
• 申請(qǐng)日: 2021-11-25
• 公開（公告）號(hào): CN113938376B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 葉苗;魏若愚;王勇;柯文龍
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號(hào): H04L41/0668
• 分類號(hào): H04L41/0668;H04L41/12;G06N3/126;G06F16/27
• 代理公司: 桂林市持衡專利商標(biāo)事務(wù)所有限公司 45107
• 代理人: 陳躍琳

本發(fā)明公開一種分布式存儲(chǔ)系統(tǒng)中故障節(jié)點(diǎn)修復(fù)方法，首先利用軟件定義網(wǎng)絡(luò)技術(shù)實(shí)時(shí)監(jiān)控獲取網(wǎng)絡(luò)狀態(tài)信息，并將獲取到的實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)信息用于后續(xù)進(jìn)行路徑計(jì)算；然后，使用多屬性決策對(duì)空閑節(jié)點(diǎn)集進(jìn)行篩選得到新生節(jié)點(diǎn)；使用基于平均帶寬感知的路徑排序算法對(duì)存活節(jié)點(diǎn)集進(jìn)行篩選得到提供節(jié)點(diǎn)；接著，使用Dijkstra算法得到新生節(jié)點(diǎn)與提供節(jié)點(diǎn)之間的k條初始路徑k?path；最后，利用k?path作為初始化編碼的個(gè)體元素帶入混合遺傳算法，求取系統(tǒng)中的最優(yōu)修復(fù)樹，構(gòu)建具有最優(yōu)修復(fù)性能的全局最優(yōu)修復(fù)拓?fù)洹１景l(fā)明針對(duì)分布式存儲(chǔ)系統(tǒng)中節(jié)點(diǎn)屬性異構(gòu)的特征，通過(guò)多屬性決策、Dijkstra算法與混合遺傳算法相結(jié)合的方法來(lái)降低修復(fù)流量及修復(fù)時(shí)延。

技術(shù)領(lǐng)域

本發(fā)明涉及云存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種分布式存儲(chǔ)系統(tǒng)中故障節(jié)點(diǎn)修復(fù)方法。

背景技術(shù)

分布式存儲(chǔ)是一種將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上的數(shù)據(jù)存儲(chǔ)技術(shù)。分布式存儲(chǔ)系統(tǒng)利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。分布式存儲(chǔ)系統(tǒng)包含大量存儲(chǔ)節(jié)點(diǎn)(存儲(chǔ)服務(wù)器)，節(jié)點(diǎn)失效是經(jīng)常性事件。為保證存儲(chǔ)數(shù)據(jù)的可靠性，目前分布式存儲(chǔ)系統(tǒng)的節(jié)點(diǎn)修復(fù)方式主要采用多副本技術(shù)和糾刪碼技術(shù)。

多副本技術(shù)操作簡(jiǎn)單，易于實(shí)現(xiàn)，但需要消耗大量的存儲(chǔ)空間，存儲(chǔ)效率低，隨著海量存儲(chǔ)數(shù)據(jù)的劇增，多副本冗余所帶來(lái)的高存儲(chǔ)開銷的缺點(diǎn)日益明顯。相較于多副本技術(shù)，糾刪碼技術(shù)能夠大幅減少了冗余存儲(chǔ)開銷，并具有存儲(chǔ)效率高和靈活性好的特點(diǎn)。應(yīng)用糾刪碼方式修復(fù)故障節(jié)點(diǎn)時(shí)，分布式存儲(chǔ)系統(tǒng)會(huì)在集群拓?fù)渲刑峁┮粋€(gè)新的節(jié)點(diǎn)替換故障節(jié)點(diǎn)，該節(jié)點(diǎn)被稱為Newcomer(新生節(jié)點(diǎn))，Newcomer從若干存活節(jié)點(diǎn)中下載數(shù)據(jù)并執(zhí)行數(shù)據(jù)恢復(fù)操作，這些為Newcomer提供數(shù)據(jù)的節(jié)點(diǎn)被稱為Provider(提供節(jié)點(diǎn))。在傳統(tǒng)數(shù)據(jù)修復(fù)過(guò)程中，Provider向Newcomer傳遞修復(fù)數(shù)據(jù)的修復(fù)拓?fù)涫切切偷模⑶襈ewcomer必須在接收所有Provider節(jié)點(diǎn)提供的數(shù)據(jù)后才能恢復(fù)失效節(jié)點(diǎn)中的數(shù)據(jù)，故其修復(fù)時(shí)延取決于修復(fù)流量在拓?fù)渲袀鬟f速度最慢的鏈路，稱為瓶頸鏈路。為降低修復(fù)時(shí)延，樹型修復(fù)拓?fù)浔惶崃顺鰜?lái)，不再采用Provider直連Newcomer的傳輸模式，而是以Newcomer為根創(chuàng)建樹型修復(fù)拓?fù)洌x擇具有更高可用平均帶寬的鏈路加入拓?fù)湟越档托迯?fù)時(shí)延。雖然樹型修復(fù)拓?fù)湎噍^星型修復(fù)拓?fù)浯_實(shí)提升了數(shù)據(jù)修復(fù)速率，但卻為存儲(chǔ)集群網(wǎng)絡(luò)帶來(lái)了更大的流量開銷。此外，樹型修復(fù)拓?fù)渫ㄟ^(guò)貪心算法尋找最優(yōu)修復(fù)樹是一個(gè)NP-hard問(wèn)題，隨著存儲(chǔ)規(guī)模的增大，修復(fù)拓?fù)涞臉?gòu)造時(shí)間會(huì)隨指數(shù)增長(zhǎng)，這對(duì)于目前普遍集群規(guī)模巨大的存儲(chǔ)系統(tǒng)來(lái)說(shuō)，將帶來(lái)巨大的修復(fù)時(shí)延。由此可見，傳統(tǒng)糾刪碼技術(shù)還存在修復(fù)時(shí)延較大的問(wèn)題，如何減少修復(fù)過(guò)程中的修復(fù)開銷，是我們迫切需要解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明所要解決的是現(xiàn)有分布式存儲(chǔ)的節(jié)點(diǎn)修復(fù)方法在應(yīng)對(duì)大規(guī)模存儲(chǔ)冗余時(shí)，存在修復(fù)開銷及計(jì)算開銷較大的問(wèn)題，提供一種分布式存儲(chǔ)系統(tǒng)中故障節(jié)點(diǎn)修復(fù)方法。

為解決上述問(wèn)題，本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

分布式存儲(chǔ)系統(tǒng)中故障節(jié)點(diǎn)修復(fù)方法，包括步驟如下：

步驟1、利用軟件定義網(wǎng)絡(luò)技術(shù)實(shí)時(shí)監(jiān)控獲取網(wǎng)絡(luò)狀態(tài)信息；

步驟2、基于獲取的網(wǎng)絡(luò)狀態(tài)信息，對(duì)分布式存儲(chǔ)系統(tǒng)中的所有空閑節(jié)點(diǎn)進(jìn)行多屬性決策選定1個(gè)新生節(jié)點(diǎn)；

步驟3、基于獲取的網(wǎng)絡(luò)狀態(tài)信息，將分布式存儲(chǔ)系統(tǒng)中的各存活節(jié)點(diǎn)到各空閑節(jié)點(diǎn)的直連帶寬進(jìn)行從大到小排序，并將排在前面的d個(gè)直連帶寬的存活節(jié)點(diǎn)選定為提供節(jié)點(diǎn)；

步驟4、使用Dijkstra算法分別得到新生節(jié)點(diǎn)到每個(gè)提供節(jié)點(diǎn)的k條路徑；

步驟5、設(shè)定種群規(guī)模Q和最大進(jìn)化世代數(shù)G；生成包括Q個(gè)個(gè)體的初始化種群，該初始化種群的每個(gè)個(gè)體是分別從新生節(jié)點(diǎn)到每個(gè)提供節(jié)點(diǎn)的k條路徑中各隨機(jī)選擇一條路徑即新生節(jié)點(diǎn)到d個(gè)提供節(jié)點(diǎn)的d條路徑所組成的；令當(dāng)前進(jìn)化世代數(shù)t＝1，并令當(dāng)前種群為初始化種群；