[發(fā)明專利]一種分布式存儲系統(tǒng)中的數(shù)據(jù)存儲方法及裝置

在審

• 申請?zhí)枺?/td>: 201910880130.1
• 申請日: 2019-09-18
• 公開（公告）號: CN112527492A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 王道輝;宋馳;湛云;王同雷
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F3/06
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 鄧靈

一種分布式存儲系統(tǒng)中的數(shù)據(jù)存儲方法及裝置，在該方法中，當(dāng)存儲系統(tǒng)的存儲節(jié)點接收到客戶端根據(jù)分區(qū)視圖發(fā)送的寫請求后，會根據(jù)該存儲節(jié)點中多個存儲設(shè)備的剩余存儲空間，從該多個存儲設(shè)備中確定該目標(biāo)存儲設(shè)備，并將與該寫請求對應(yīng)的待寫入數(shù)據(jù)寫入該目標(biāo)存儲設(shè)備。由于存儲節(jié)點是根據(jù)每個存儲設(shè)備的剩余存儲空間存儲待寫入數(shù)據(jù)的，因此，當(dāng)每個待寫入數(shù)據(jù)都采用這種方式進行處理后，則在各個存儲設(shè)備存儲的數(shù)據(jù)的數(shù)據(jù)量可以達到一個均衡狀態(tài)。

技術(shù)領(lǐng)域

本申請涉及存儲技術(shù)領(lǐng)域，尤其涉及一種分布式存儲系統(tǒng)中的數(shù)據(jù)存儲方法及裝置。

背景技術(shù)

在分布式存儲系統(tǒng)中，采用對存儲系統(tǒng)的存儲設(shè)備進行分區(qū)的方法，來提高存儲系統(tǒng)的存儲性能。具體的做法是：首先按照預(yù)設(shè)的規(guī)則(例如用戶需求或者存儲系統(tǒng)的存儲池對應(yīng)的數(shù)據(jù)冗余模式等)，創(chuàng)建若干個分區(qū)(partition，pt)，每個pt中包括固定數(shù)量的列，一個列可以認(rèn)為是一個邏輯存儲區(qū)域，然后，根據(jù)存儲系統(tǒng)的均衡策略，將該若干個pt打散到存儲系統(tǒng)的所有存儲設(shè)備上。這樣，存儲系統(tǒng)中的存儲設(shè)備用于為分區(qū)中的列提供存儲空間。一個分區(qū)會包含多個分條，分條根據(jù)冗余算法，例如糾刪碼(Erasure Coding,EC)包含數(shù)據(jù)分條單元和校驗分條單元，數(shù)據(jù)分條單元和校驗分條單元大小相同，并且分條中數(shù)據(jù)分條單元和校驗分條單元數(shù)量之和等于分區(qū)中列的數(shù)量，數(shù)據(jù)分條單元和校驗分條單元統(tǒng)稱為分條單元。一個分區(qū)中的多個分條位于相同位置的分條單元分布在相同的列上，即分布在相同的存儲設(shè)備上。這樣，當(dāng)在該存儲系統(tǒng)上存儲數(shù)據(jù)時，存儲系統(tǒng)可以從該若干個分區(qū)中選擇一個分區(qū)，從分區(qū)中獲得分條，然后根據(jù)pt與存儲設(shè)備之間的映射關(guān)系，將該數(shù)據(jù)分散存儲在相應(yīng)的存儲設(shè)備上，由于一個分區(qū)的各個列中存儲的數(shù)據(jù)量均衡，從而可以保證存儲系統(tǒng)的負(fù)載均衡。

由于每個分區(qū)中存儲的可能是不同業(yè)務(wù)的數(shù)據(jù)，而不同業(yè)務(wù)的數(shù)據(jù)的數(shù)據(jù)量可能不同，從而會導(dǎo)致同一個存儲節(jié)點中屬于不同分區(qū)的存儲設(shè)備中存儲的數(shù)據(jù)的數(shù)據(jù)量也不相同。例如，存儲節(jié)點屬于某個分區(qū)的存儲設(shè)備已經(jīng)存滿數(shù)據(jù)，而該存儲節(jié)點的屬于其他分區(qū)的存儲設(shè)備還有剩余存儲空間，在這種情況下，造成存儲系統(tǒng)中存儲的負(fù)載不均衡。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N分布式存儲系統(tǒng)中的數(shù)據(jù)存儲方法及裝置，用以實現(xiàn)存儲系統(tǒng)的負(fù)載均衡。

第一方面，提供一種分布式存儲系統(tǒng)中的數(shù)據(jù)存儲方法，在該方法中，當(dāng)存儲系統(tǒng)的客戶端獲取待寫入數(shù)據(jù)后，該客戶端會根據(jù)分區(qū)視圖向存儲系統(tǒng)的存儲節(jié)點發(fā)送寫請求，該寫請求用于將待寫入數(shù)據(jù)寫入分區(qū)的屬于該存儲節(jié)點的目標(biāo)存儲設(shè)備，該分區(qū)視圖包含該分區(qū)與該目標(biāo)存儲設(shè)備所在的存儲節(jié)點的對應(yīng)關(guān)系。該存儲節(jié)點在接收該寫請求后，則根據(jù)該存儲節(jié)點中多個存儲設(shè)備的剩余存儲空間，從該多個存儲設(shè)備中確定該目標(biāo)存儲設(shè)備，并將該待寫入數(shù)據(jù)寫入該目標(biāo)存儲設(shè)備。

在上述技術(shù)方案中，由于存儲節(jié)點是根據(jù)每個存儲設(shè)備的剩余存儲空間存儲待寫入數(shù)據(jù)的，也就是說，在寫入數(shù)據(jù)時已經(jīng)考慮了各個存儲設(shè)備的剩余存儲空間，因此，當(dāng)每個待寫入數(shù)據(jù)都采用這種方式進行處理后，則在各個存儲設(shè)備存儲的數(shù)據(jù)的數(shù)據(jù)量可以達到一個均衡狀態(tài)。

進一步，由于可以實現(xiàn)存儲系統(tǒng)的負(fù)載均衡，進而可以避免由于各個存儲設(shè)備中存儲的數(shù)據(jù)不均衡而導(dǎo)致無法使用某些存儲設(shè)備的剩余存儲空間的問題，可以提高存儲空間的利用率。

在一種可能的設(shè)計中，存儲節(jié)點根據(jù)多個存儲設(shè)備的剩余存儲空間，從該多個存儲設(shè)備中確定該目標(biāo)存儲設(shè)備，可以包括但不限于如下兩種方式：

第一種方式，該存儲節(jié)點從該多個存儲設(shè)備中選擇剩余存儲空間不小于閾值的存儲設(shè)備作為該目標(biāo)存儲設(shè)備。

第二種方式，該存儲節(jié)點從該多個存儲設(shè)備中選擇剩余存儲空間最大的存儲設(shè)備作為該目標(biāo)存儲設(shè)備。