[發(fā)明專利]一種分布式存儲系統(tǒng)中數(shù)據(jù)重構(gòu)的方法、存儲節(jié)點設(shè)備

有效

• 申請?zhí)枺?/td>: 202011401362.3
• 申請日: 2020-12-02
• 公開（公告）號: CN112612412B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計）人: 方毅
• 申請（專利權(quán)）人: 杭州海康威視系統(tǒng)技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/50
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 謝安昆;宋志強

本申請公開了一種分布式存儲系統(tǒng)中數(shù)據(jù)重構(gòu)的方法，其特征在于，該方法包括，在存儲節(jié)點側(cè)，當(dāng)重構(gòu)任務(wù)被觸發(fā)時，根據(jù)當(dāng)前第一重構(gòu)速度和當(dāng)前第二重構(gòu)速度，確定該存儲節(jié)點當(dāng)前重構(gòu)速度，按照當(dāng)前重構(gòu)速度，進(jìn)行數(shù)據(jù)重構(gòu)，其中，第一重構(gòu)速度為該存儲節(jié)點自身速度，第二重構(gòu)速度為該存儲節(jié)點所在集群的期望目標(biāo)重構(gòu)速度。本發(fā)明使得集群整體重構(gòu)速度得以自適應(yīng)地調(diào)整，維持了整個集群重構(gòu)速度的動態(tài)平衡，避免了重構(gòu)任務(wù)過快地執(zhí)行而帶來的重構(gòu)壓力，降低了集群中的資源的搶占。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，特別地，涉及一種分布式存儲系統(tǒng)中數(shù)據(jù)重構(gòu)的方法和存儲節(jié)點設(shè)備。

背景技術(shù)

分布式存儲系統(tǒng)是一種將數(shù)據(jù)分布式存儲于多個位于不同物理位置的存儲節(jié)點、各存儲節(jié)點之間通過網(wǎng)絡(luò)互相連接，組成一個完整的、整體邏輯上集中而物理上分散的系統(tǒng)。

為防止硬件故障或機器宕機導(dǎo)致的數(shù)據(jù)丟失，提高數(shù)據(jù)容災(zāi)性保護(hù)，分布式存儲現(xiàn)有的數(shù)據(jù)冗余保護(hù)方案包括冗余備份和冗余編碼兩種。其中，冗余編碼技術(shù)相比于冗余備份更能節(jié)省存儲空間而被廣泛應(yīng)用于分布式存儲系統(tǒng)中來保證數(shù)據(jù)的可靠性。

然而，傳統(tǒng)的冗余編碼技術(shù)，在重構(gòu)數(shù)據(jù)時將消耗更長的時間，從而增加了發(fā)生永久性數(shù)據(jù)丟失的風(fēng)險。

發(fā)明內(nèi)容

本發(fā)明提供了一種分布式存儲系統(tǒng)中數(shù)據(jù)重構(gòu)的方法，以控制重構(gòu)數(shù)據(jù)所帶來的系統(tǒng)資源消耗。

本發(fā)明提供的一種分布式存儲系統(tǒng)中數(shù)據(jù)重構(gòu)的方法是這樣實現(xiàn)的：在存儲節(jié)點側(cè)，

當(dāng)重構(gòu)任務(wù)被觸發(fā)時，根據(jù)第一重構(gòu)速度和第二重構(gòu)速度，確定該存儲節(jié)點當(dāng)前重構(gòu)速度，

按照當(dāng)前重構(gòu)速度，進(jìn)行數(shù)據(jù)重構(gòu)，

其中，

第一重構(gòu)速度為該存儲節(jié)點當(dāng)前自身速度，

第二重構(gòu)速度為該存儲節(jié)點所在集群的當(dāng)前期望目標(biāo)重構(gòu)速度。

較佳地，所述根據(jù)當(dāng)前第一重構(gòu)速度和當(dāng)前第二重構(gòu)速度，確定該存儲節(jié)點當(dāng)前重構(gòu)速度，包括，

根據(jù)存儲節(jié)點第一重構(gòu)速度、第二重構(gòu)速度、以及當(dāng)前重構(gòu)任務(wù)與上一重構(gòu)任務(wù)被執(zhí)行的第一時間間隔，確定下一重構(gòu)任務(wù)被執(zhí)行的第二時間間隔，

所述按照當(dāng)前重構(gòu)速度，進(jìn)行數(shù)據(jù)重構(gòu)，包括，

當(dāng)?shù)竭_(dá)所述第二時間間隔時，執(zhí)行重構(gòu)任務(wù)，進(jìn)行數(shù)據(jù)重構(gòu)。

較佳地，所述根據(jù)存儲節(jié)點當(dāng)前第一重構(gòu)速度、第二重構(gòu)速度、以及當(dāng)前重構(gòu)任務(wù)與上一重構(gòu)任務(wù)被執(zhí)行的第一時間間隔，確定下一重構(gòu)任務(wù)被執(zhí)行的第二時間間隔，包括，

根據(jù)第二重構(gòu)速度、集群內(nèi)的存儲節(jié)點數(shù)量，計算集群內(nèi)每臺存儲節(jié)點的平均重構(gòu)速度，得到第三重構(gòu)速度；

在存儲節(jié)點負(fù)載小于設(shè)定的負(fù)載閾值時，計算第一重構(gòu)速度與第三重構(gòu)速度的比值，將該比值與第一時間間隔相乘，得到第二時間間隔；

若第二時間間隔大于設(shè)定的最小值、且小于設(shè)定的最大值，則該第二時間間隔為最終結(jié)果，

若第二時間間隔小于等于最小值，則將該最小值作為第二時間間隔，

若第二時間間隔大于等于最大值，則將該最大值作為第二時間間隔。

較佳地，所述存儲節(jié)點負(fù)載小于設(shè)定的負(fù)載閾值包括至少以下之一：

存儲節(jié)點的CPU負(fù)載率小于設(shè)定的第一閾值；

存儲節(jié)點的內(nèi)存負(fù)載率小于設(shè)定的第二閾值；

存儲節(jié)點的網(wǎng)絡(luò)資源負(fù)載率小于設(shè)定的第三閾值；

所述重構(gòu)任務(wù)按照優(yōu)先級被觸發(fā)。