[發(fā)明專利]分片管理方法和分片管理裝置

有效

• 申請?zhí)枺?/td>: 201710515966.2
• 申請日: 2017-06-29
• 公開（公告）號: CN107436733B
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 王晨;姚唐仁;王鋒
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

一種分片管理技術(shù)，應(yīng)用于在分布式存儲(chǔ)系統(tǒng)中，計(jì)算節(jié)點(diǎn)讀取所述第一校驗(yàn)分片的元數(shù)據(jù)，從中獲得所述第一校驗(yàn)分片所在的第一存儲(chǔ)位置；所述計(jì)算節(jié)點(diǎn)選擇第二存儲(chǔ)位置，所述第二存儲(chǔ)位置位于第二級存儲(chǔ)介質(zhì)，所述第二級存儲(chǔ)介質(zhì)的讀取速度低于所述第一級存儲(chǔ)介質(zhì)，所述第二存儲(chǔ)位置擁有空閑空間；所述計(jì)算節(jié)點(diǎn)向所述第一校驗(yàn)分片所在的存儲(chǔ)節(jié)點(diǎn)發(fā)送遷移指示，指示所述第一校驗(yàn)分片所在的存儲(chǔ)節(jié)點(diǎn)把所述第一校驗(yàn)分片發(fā)送給第二存儲(chǔ)位置所在的存儲(chǔ)節(jié)點(diǎn)；第二存儲(chǔ)位置所在的存儲(chǔ)節(jié)點(diǎn)把所述第一校驗(yàn)分片存儲(chǔ)到第二存儲(chǔ)位置；所述計(jì)算節(jié)點(diǎn)指示把所述第二存儲(chǔ)位置的信息更新到所述第一校驗(yàn)分片的元數(shù)據(jù)。應(yīng)用該技術(shù)可以減少高速存儲(chǔ)介質(zhì)的占用量，降低存儲(chǔ)系統(tǒng)成本。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)，尤其涉及存儲(chǔ)領(lǐng)域。

背景技術(shù)

云存儲(chǔ)等分布式存儲(chǔ)方式現(xiàn)在日益流行。隨著信息的爆炸式增長，用戶在云存儲(chǔ)系統(tǒng)的數(shù)據(jù)規(guī)模也越來越大。不斷增長的數(shù)據(jù)量給存儲(chǔ)服務(wù)提供商和用戶都帶來了成本的壓力。

云存儲(chǔ)系統(tǒng)為提高數(shù)據(jù)可靠性，會(huì)對數(shù)據(jù)進(jìn)行糾刪碼(erasure code，EC)技術(shù)冗余，冗余后的數(shù)據(jù)分為數(shù)據(jù)片和校驗(yàn)片(統(tǒng)稱為分片)，在分片損壞總數(shù)不超過閾值的情況下，任意損壞若干分片，依靠未損壞的分片可以把損壞的分片重構(gòu)出來。更進(jìn)一步，除了EC之外，還可以使用本地重建碼(local reconstruction code，LRC)技術(shù)，在LRC技術(shù)中，校驗(yàn)片包括本地校驗(yàn)片(local parity)和全局校驗(yàn)片(global parity)。本地校驗(yàn)片可用于對本數(shù)據(jù)中心(data center)少量分片損壞的情況下對分片進(jìn)行恢復(fù)；全局校驗(yàn)片可用于在損壞分片數(shù)較多時(shí)進(jìn)行EC方式的數(shù)據(jù)恢復(fù)。數(shù)據(jù)片和校驗(yàn)片可以分布在多個(gè)數(shù)據(jù)中心，本地校驗(yàn)片保護(hù)數(shù)據(jù)中心內(nèi)的數(shù)據(jù)，全局校驗(yàn)片在某個(gè)數(shù)據(jù)中心故障時(shí)保證數(shù)據(jù)可恢復(fù)。

雖然校驗(yàn)分片可以提高數(shù)據(jù)可靠性。然而，校驗(yàn)分片也會(huì)占用大量的存儲(chǔ)空間，當(dāng)占用的是昂貴的高速存儲(chǔ)介質(zhì)時(shí)，會(huì)導(dǎo)致用戶使用成本的大幅升高。

發(fā)明內(nèi)容

第一方面，本發(fā)明提供一種分片管理方法的實(shí)施方式，該方法可以應(yīng)用于在分布式存儲(chǔ)系統(tǒng)中，所述分布式存儲(chǔ)系統(tǒng)包括計(jì)算節(jié)點(diǎn)和至少一個(gè)存儲(chǔ)節(jié)點(diǎn)，所述存儲(chǔ)節(jié)點(diǎn)包括至少一個(gè)存儲(chǔ)介質(zhì)，分布式存儲(chǔ)系統(tǒng)包括多個(gè)存儲(chǔ)介質(zhì)，不同分片存儲(chǔ)于不同的存儲(chǔ)介質(zhì)，數(shù)據(jù)分片和第一校驗(yàn)分片均位于第一級存儲(chǔ)介質(zhì)中，該方法包括：計(jì)算節(jié)點(diǎn)讀取所述第一校驗(yàn)分片的元數(shù)據(jù)，從中獲得所述第一校驗(yàn)分片所在的第一存儲(chǔ)位置；所述計(jì)算節(jié)點(diǎn)選擇第二存儲(chǔ)位置，所述第二存儲(chǔ)位置位于第二級存儲(chǔ)介質(zhì)，所述第二級存儲(chǔ)介質(zhì)的讀取速度低于所述第一級存儲(chǔ)介質(zhì)，所述第二存儲(chǔ)位置擁有空閑空間；所述計(jì)算節(jié)點(diǎn)向所述第一校驗(yàn)分片所在的存儲(chǔ)節(jié)點(diǎn)發(fā)送遷移指示，指示所述第一校驗(yàn)分片所在的存儲(chǔ)節(jié)點(diǎn)把所述第一校驗(yàn)分片發(fā)送給第二存儲(chǔ)位置所在的存儲(chǔ)節(jié)點(diǎn)；第二存儲(chǔ)位置所在的存儲(chǔ)節(jié)點(diǎn)把所述第一校驗(yàn)分片存儲(chǔ)到第二存儲(chǔ)位置；所述計(jì)算節(jié)點(diǎn)指示把所述第二存儲(chǔ)位置的信息更新到所述第一校驗(yàn)分片的元數(shù)據(jù)。

使用該方法，可以把EC的校驗(yàn)分片或者LRC的全局校驗(yàn)分片，從成本較高的高速存儲(chǔ)介質(zhì)遷移到成本較低的低速存儲(chǔ)介質(zhì)中，節(jié)約了高速存儲(chǔ)介質(zhì)的占用。

第一方面的第一種可選方案：計(jì)算節(jié)點(diǎn)讀取所述第二校驗(yàn)分片的元數(shù)據(jù)，從中獲得所述第二校驗(yàn)分片所在的第三存儲(chǔ)位置；所述計(jì)算節(jié)點(diǎn)選擇第四存儲(chǔ)位置，所述第四存儲(chǔ)位置位于第三級存儲(chǔ)介質(zhì)，所述第三級存儲(chǔ)介質(zhì)的讀取/寫入速度高于所述第二級存儲(chǔ)介質(zhì)、且低于第一級存儲(chǔ)介質(zhì)，所述第四存儲(chǔ)位置擁有空閑空間；所述計(jì)算節(jié)點(diǎn)向所述第二校驗(yàn)分片所在的存儲(chǔ)節(jié)點(diǎn)發(fā)送遷移指示，指示所述第二校驗(yàn)分片所在的存儲(chǔ)節(jié)點(diǎn)把所述第二校驗(yàn)分片發(fā)送給所述第四存儲(chǔ)位置所在的存儲(chǔ)節(jié)點(diǎn)；所述第四存儲(chǔ)位置所在的存儲(chǔ)節(jié)點(diǎn)把所述第二校驗(yàn)分片存儲(chǔ)到第二存儲(chǔ)位置；所述計(jì)算節(jié)點(diǎn)指示把所述第四存儲(chǔ)位置的信息更新到所述第一校驗(yàn)分片的元數(shù)據(jù)。