[發(fā)明專(zhuān)利]一種存儲(chǔ)集群的擴(kuò)容方法、系統(tǒng)及相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011311240.5
• 申請(qǐng)日: 2020-11-20
• 公開(kāi)（公告）號(hào): CN112463043B
• 公開(kāi)（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 孫潤(rùn)宇;孟祥瑞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 高勇

本申請(qǐng)?zhí)峁┮环N存儲(chǔ)集群的擴(kuò)容方法，包括：接收擴(kuò)容指令，并確定所述擴(kuò)容指令對(duì)應(yīng)的新擴(kuò)容節(jié)點(diǎn)；遍歷所有放置組，確定各所述放置組對(duì)應(yīng)OSD的引用計(jì)數(shù)；每個(gè)OSD的引用計(jì)數(shù)與其承載的放置組數(shù)量相同；將每個(gè)放置組中引用計(jì)數(shù)最大的OSD置為待確定OSD；調(diào)用數(shù)據(jù)分布接口從所述新擴(kuò)容節(jié)點(diǎn)中選擇最優(yōu)OSD替換所述待確定OSD。本申請(qǐng)使得每個(gè)放置組中引用技術(shù)最大的OSD只會(huì)被替換為新擴(kuò)容節(jié)點(diǎn)中的OSD，杜絕了舊節(jié)點(diǎn)內(nèi)部之間的數(shù)據(jù)遷移，從而提高擴(kuò)容重構(gòu)效率，降低系統(tǒng)進(jìn)行擴(kuò)容時(shí)的資源使用率，提高存儲(chǔ)系統(tǒng)性能。本申請(qǐng)還提供一種存儲(chǔ)集群的擴(kuò)容系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和存儲(chǔ)設(shè)備，具有上述有益效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，特別涉及一種存儲(chǔ)集群的擴(kuò)容方法、系統(tǒng)及相關(guān)裝置。

背景技術(shù)

在分布式存儲(chǔ)系統(tǒng)中，存儲(chǔ)的內(nèi)容按照固定大小切割，這一塊固定大小的數(shù)據(jù)稱(chēng)為一個(gè)對(duì)象，PG（Placement Group，放置組，是用于放置對(duì)象的一個(gè)載體）就是多個(gè)對(duì)象的聚合。而每個(gè)PG與OSD（Object-based Storage Device，對(duì)象存儲(chǔ)設(shè)備）的對(duì)應(yīng)是通過(guò)數(shù)據(jù)分布算法對(duì)應(yīng)起來(lái)的，一個(gè)PG對(duì)應(yīng)于多個(gè)OSD，OSD可以簡(jiǎn)單理解為物理上的磁盤(pán)，一個(gè)OSD上可以有多個(gè)PG，存儲(chǔ)的內(nèi)容置于磁盤(pán)上。當(dāng)進(jìn)行節(jié)點(diǎn)擴(kuò)容時(shí)，數(shù)據(jù)分布算法會(huì)通過(guò)一系列的計(jì)算去給所有PG重新選擇OSD，選擇完成后，對(duì)于該P(yáng)G中新加入的OSD成員需要進(jìn)行數(shù)據(jù)遷移，但在執(zhí)行數(shù)據(jù)遷移過(guò)程中容易存在某PG重新選擇成員后新加入的成員依然是老節(jié)點(diǎn)的OSD，但是由于該OSD上沒(méi)有該P(yáng)G的數(shù)據(jù)，所以也需要進(jìn)行數(shù)據(jù)遷移，這樣在擴(kuò)容時(shí)就存在額外遷移量，不僅占用了系統(tǒng)資源，同時(shí)降低了擴(kuò)容效率。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種存儲(chǔ)集群的擴(kuò)容方法、存儲(chǔ)集群的擴(kuò)容系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和存儲(chǔ)設(shè)備，能夠提高擴(kuò)容效率。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N存儲(chǔ)集群的擴(kuò)容方法，具體技術(shù)方案如下：

接收擴(kuò)容指令，并確定所述擴(kuò)容指令對(duì)應(yīng)的新擴(kuò)容節(jié)點(diǎn)；

遍歷所有放置組，確定各所述放置組對(duì)應(yīng)OSD的引用計(jì)數(shù)；每個(gè)OSD的引用計(jì)數(shù)與其承載的放置組數(shù)量相同；

將每個(gè)放置組中引用計(jì)數(shù)最大的OSD置為待確定OSD；

調(diào)用數(shù)據(jù)分布接口從所述新擴(kuò)容節(jié)點(diǎn)中選擇最優(yōu)OSD替換所述待確定OSD。

可選的，調(diào)用數(shù)據(jù)分布接口從所述新擴(kuò)容節(jié)點(diǎn)中選擇最優(yōu)OSD替換所述待確定OSD之后，還包括：

判斷所述最優(yōu)OSD和所述待確定OSD是否屬于相同故障域；

若是，則拒絕利用所述最優(yōu)OSD替換所述待確定OSD；

若否，則利用所述最優(yōu)OSD替換所述待確定OSD。

可選的，調(diào)用數(shù)據(jù)分布接口從所述新擴(kuò)容節(jié)點(diǎn)中選擇最優(yōu)OSD替換所述待確定OSD包括：

調(diào)用預(yù)設(shè)哈希算法對(duì)所述新擴(kuò)容節(jié)點(diǎn)中每個(gè)擴(kuò)容節(jié)點(diǎn)作哈希計(jì)算；

在哈希值最大的擴(kuò)容節(jié)點(diǎn)中確定哈希值最大的新OSD作為所述最優(yōu)OSD；

利用所述最優(yōu)OSD替換所述待確定OSD。

可選的，在哈希值最大的擴(kuò)容節(jié)點(diǎn)中確定哈希值最大的新OSD作為所述最優(yōu)OSD包括：

在哈希值最大的擴(kuò)容節(jié)點(diǎn)中分別基于嘗試次數(shù)、OSD名稱(chēng)和OSD權(quán)重計(jì)算各OSD對(duì)應(yīng)的哈希值。

將哈希值最大的OSD作為最優(yōu)OSD。

可選的，利用所述最優(yōu)OSD替換所述待確定OSD之后，還包括：

變更OSD的引用計(jì)數(shù)。

可選的，確定所述擴(kuò)容指令對(duì)應(yīng)的新擴(kuò)容節(jié)點(diǎn)之后，還包括：