[發(fā)明專利]一種分布式存儲(chǔ)集群重構(gòu)進(jìn)度的統(tǒng)計(jì)方法、系統(tǒng)及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011104434.8
• 申請(qǐng)日: 2020-10-15
• 公開（公告）號(hào): CN112269532B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 丁純杰;孟祥瑞
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 侯珊

本發(fā)明公開了一種分布式存儲(chǔ)集群重構(gòu)進(jìn)度的統(tǒng)計(jì)方法、系統(tǒng)及裝置，當(dāng)集群中的OSD發(fā)生故障時(shí)，獲取每個(gè)存儲(chǔ)池在本次重構(gòu)過程中的重構(gòu)權(quán)重；在集群進(jìn)行本次重構(gòu)的過程中，獲取每個(gè)存儲(chǔ)池在自身重構(gòu)任務(wù)中的重構(gòu)進(jìn)度；根據(jù)r＝∑w_i*r_i計(jì)算得到集群重構(gòu)進(jìn)度；其中，w_i為第i個(gè)存儲(chǔ)池的重構(gòu)權(quán)重；r_i為第i個(gè)存儲(chǔ)池的重構(gòu)進(jìn)度；在某一存儲(chǔ)池未開始重構(gòu)時(shí)，此存儲(chǔ)池的重構(gòu)進(jìn)度值置為1。可見，本申請(qǐng)將集群中每個(gè)存儲(chǔ)池在自身重構(gòu)任務(wù)中的重構(gòu)進(jìn)度根據(jù)其重構(gòu)權(quán)重映射出集群重構(gòu)進(jìn)度，使集群重構(gòu)進(jìn)度與存儲(chǔ)池重構(gòu)進(jìn)度一致，且在多存儲(chǔ)池場景下若集群沒有重構(gòu)任務(wù)，則集群重構(gòu)進(jìn)度為重構(gòu)任務(wù)已完成，等待新重構(gòu)任務(wù)觸發(fā)，不會(huì)卡在一定值，更準(zhǔn)確反映集群真實(shí)重構(gòu)進(jìn)度。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)領(lǐng)域，特別是涉及一種分布式存儲(chǔ)集群重構(gòu)進(jìn)度的統(tǒng)計(jì)方法、系統(tǒng)及裝置。

背景技術(shù)

為了保證用戶數(shù)據(jù)的安全性，分布式存儲(chǔ)集群將同一份數(shù)據(jù)復(fù)制多份副本，并將多份相同數(shù)據(jù)一一存放在不同的存儲(chǔ)池中。目前，為了方便管理數(shù)據(jù)，分布式存儲(chǔ)集群的存儲(chǔ)池會(huì)被劃分成多個(gè)PG(Placement Group，歸置組)，具體是：每個(gè)存儲(chǔ)池上包含多塊OSD(Object Storage Device，數(shù)據(jù)存儲(chǔ)設(shè)備)，從各存儲(chǔ)池中分別選擇一塊OSD共同組成一個(gè)PG，多份相同數(shù)據(jù)一一存放在屬于一個(gè)PG的多塊OSD上。

基于此，若一個(gè)PG包含三塊OSD，當(dāng)某一塊OSD發(fā)生故障(down)時(shí)，此故障OSD所屬的PG就僅有兩份相同數(shù)據(jù)，稱之為降級(jí)，此時(shí)集群會(huì)對(duì)集群中所有降級(jí)的對(duì)象(即故障OSD存儲(chǔ)的所有對(duì)象)進(jìn)行統(tǒng)計(jì)并記錄。若經(jīng)過一段時(shí)間后，這塊OSD仍處于故障狀態(tài)，則集群會(huì)將這塊OSD置為OUT狀態(tài)，并會(huì)為降級(jí)的PG重新分配一塊新的OSD，此時(shí)集群中的這些降級(jí)對(duì)象會(huì)被重新拷貝到這塊新的OSD上，稱之為數(shù)據(jù)重構(gòu)。

現(xiàn)有技術(shù)中，集群會(huì)根據(jù)集群中已重構(gòu)完成的對(duì)象總數(shù)占集群中所有降級(jí)的對(duì)象總數(shù)的比例，得到一個(gè)集群重構(gòu)進(jìn)度展示給用戶。但是，對(duì)于多存儲(chǔ)池場景來說，若各存儲(chǔ)池發(fā)生重構(gòu)的開始時(shí)間不一致，則存在一個(gè)存儲(chǔ)池?cái)?shù)據(jù)已經(jīng)重構(gòu)完成，但另一個(gè)存儲(chǔ)池還未開始重構(gòu)，這中間集群實(shí)際沒有重構(gòu)任務(wù)，但上述所計(jì)算的集群重構(gòu)進(jìn)度就會(huì)卡在一個(gè)值，直到第二個(gè)存儲(chǔ)池發(fā)生重構(gòu)才會(huì)有變化，從而導(dǎo)致這種集群重構(gòu)進(jìn)度計(jì)算方式存在多存儲(chǔ)池場景下集群實(shí)際沒有重構(gòu)任務(wù)但集群重構(gòu)進(jìn)度一直卡住的問題，且存在集群重構(gòu)進(jìn)度與存儲(chǔ)池重構(gòu)進(jìn)度不一致的問題。

因此，如何提供一種解決上述技術(shù)問題的方案是本領(lǐng)域的技術(shù)人員目前需要解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種分布式存儲(chǔ)集群重構(gòu)進(jìn)度的統(tǒng)計(jì)方法、系統(tǒng)及裝置，將集群中每個(gè)存儲(chǔ)池在自身重構(gòu)任務(wù)中的重構(gòu)進(jìn)度根據(jù)其重構(gòu)權(quán)重映射出整個(gè)集群的重構(gòu)進(jìn)度，使集群重構(gòu)進(jìn)度與存儲(chǔ)池重構(gòu)進(jìn)度保持一致，且在多存儲(chǔ)池場景下若集群沒有重構(gòu)任務(wù)，則集群重構(gòu)進(jìn)度為重構(gòu)任務(wù)已完成，等待新的重構(gòu)任務(wù)觸發(fā)，不會(huì)卡在一定值，更能準(zhǔn)確反映集群的真實(shí)重構(gòu)進(jìn)度。

為解決上述技術(shù)問題，本發(fā)明提供了一種分布式存儲(chǔ)集群重構(gòu)進(jìn)度的統(tǒng)計(jì)方法，包括：

當(dāng)集群中的OSD發(fā)生故障時(shí)，獲取所述集群中每個(gè)存儲(chǔ)池在本次重構(gòu)過程中的重構(gòu)權(quán)重；

在所述集群進(jìn)行本次重構(gòu)的過程中，獲取所述集群中每個(gè)存儲(chǔ)池在自身重構(gòu)任務(wù)中的重構(gòu)進(jìn)度；

根據(jù)預(yù)設(shè)集群重構(gòu)進(jìn)度關(guān)系式r＝∑w_i*r_i計(jì)算得到集群重構(gòu)進(jìn)度r；

其中，w_i為所述集群中第i個(gè)存儲(chǔ)池在本次重構(gòu)過程中的重構(gòu)權(quán)重；r_i為在所述集群進(jìn)行本次重構(gòu)的過程中，所述集群中第i個(gè)存儲(chǔ)池在自身重構(gòu)任務(wù)中的重構(gòu)進(jìn)度；在所述集群中的某一存儲(chǔ)池未開始重構(gòu)時(shí)，此存儲(chǔ)池在自身重構(gòu)任務(wù)中的重構(gòu)進(jìn)度值置為1。

優(yōu)選地，獲取所述集群中每個(gè)存儲(chǔ)池在本次重構(gòu)過程中的重構(gòu)權(quán)重的過程，包括：