[發(fā)明專利]一種對象存儲系統(tǒng)中元數(shù)據(jù)分布的方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 201110355678.8
• 申請日: 2011-11-10
• 公開（公告）號: CN103106207A
• 公開（公告）日: 2013-05-15
• 發(fā)明（設(shè)計(jì)）人: 王娟;孫少陵;錢嶺;羅治國
• 申請（專利權(quán)）人: 中國移動(dòng)通信集團(tuán)公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤湘

技術(shù)領(lǐng)域

本發(fā)明方案涉及存儲領(lǐng)域，尤其涉及一種對象存儲系統(tǒng)中元數(shù)據(jù)分布的方法和設(shè)備。

背景技術(shù)

對象存儲系統(tǒng)一般包括客戶端、元數(shù)據(jù)服務(wù)器(MetaData?Server，MDS)和對象存儲設(shè)備(Object-based?Storage?Device，OSD)，其中：MDS作為客戶端和OSD的橋梁，主要負(fù)責(zé)對象元數(shù)據(jù)信息的管理以及相關(guān)的安全授權(quán)等；OSD作為數(shù)據(jù)的實(shí)際存儲載體，主要提供給客戶端進(jìn)行數(shù)據(jù)訪問的接口；客戶端作為應(yīng)用程序運(yùn)行的節(jié)點(diǎn)，主要負(fù)責(zé)提供通用的訪問接口。

在這種三方通信的模式中，MDS中存儲了大量的元數(shù)據(jù)信息，所述元數(shù)據(jù)信息中包含了每一元數(shù)據(jù)所對應(yīng)的數(shù)據(jù)信息存儲在OSD中的路徑地址；當(dāng)客戶端在需要對OSD中的數(shù)據(jù)進(jìn)行讀寫時(shí)，需先與MDS進(jìn)行信息交互，從MDS中獲取對象(包含元數(shù)據(jù)信息和數(shù)據(jù))中的元數(shù)據(jù)信息，確定對象中的數(shù)據(jù)存儲在OSD中的地址，然后再與相應(yīng)的OSD之間進(jìn)行信息交互，讀取或者寫入數(shù)據(jù)。

在分布式存儲系統(tǒng)中，為了能夠支持大容量的存儲以及系統(tǒng)的平滑擴(kuò)展，通常采用元數(shù)據(jù)服務(wù)器集群的方式對元數(shù)據(jù)的分布進(jìn)行管理，一般可采用以下兩種方法來實(shí)現(xiàn)：

第一種方法是哈希方法。

所述哈希方法為：將元數(shù)據(jù)的文件標(biāo)識符進(jìn)行哈希運(yùn)算后，將得到的運(yùn)算結(jié)果與元數(shù)據(jù)服務(wù)器集群中MDS的數(shù)量值進(jìn)行取余運(yùn)算，根據(jù)得到的余值選擇該余值對應(yīng)的MDS來管理該元數(shù)據(jù)。

利用哈希方法對元數(shù)據(jù)進(jìn)行管理時(shí)，若元數(shù)據(jù)服務(wù)器集群中MDS的數(shù)量發(fā)生變化(增加MDS的數(shù)量或者減少M(fèi)DS的數(shù)量)時(shí)，將會(huì)按照新的MDS數(shù)量重新對元數(shù)據(jù)哈希運(yùn)算后的運(yùn)算結(jié)果進(jìn)行取余運(yùn)算，由于MDS數(shù)量發(fā)生變化將會(huì)導(dǎo)致取余結(jié)果發(fā)生變化，因此，針對任一MDS而言，在MDS數(shù)量發(fā)生變化后，其所管理的元數(shù)據(jù)將發(fā)生變化，這會(huì)導(dǎo)致每次MDS數(shù)量發(fā)生變化時(shí)，會(huì)發(fā)生大量元數(shù)據(jù)在MDS之間的遷移，增加網(wǎng)絡(luò)維護(hù)的開銷。

第二種方法是子樹分割法。

所述子樹分割法是將元數(shù)據(jù)在對象存儲系統(tǒng)中的全局唯一標(biāo)識，按照空間目錄層次的方式，分割為獨(dú)立的子樹，元數(shù)據(jù)服務(wù)器集群中的每一個(gè)MDS負(fù)責(zé)管理其中的一個(gè)或者多個(gè)子樹。

利用子樹分割法對元數(shù)據(jù)進(jìn)行管理時(shí)，每個(gè)MDS隨機(jī)管理一個(gè)或者多個(gè)子樹，這樣就使得元數(shù)據(jù)服務(wù)器集群中某個(gè)或者某些MDS的負(fù)載過重，成為整個(gè)對象存儲系統(tǒng)的性能瓶頸。

發(fā)明內(nèi)容

本發(fā)明提供了一種對象存儲系統(tǒng)中元數(shù)據(jù)分布的方法和設(shè)備，用于解決元數(shù)據(jù)服務(wù)器集群中的MDS負(fù)載不均衡的問題。

一種對象存儲系統(tǒng)中元數(shù)據(jù)分布的方法，該方法包括：

根據(jù)元數(shù)據(jù)服務(wù)器集群中各元數(shù)據(jù)服務(wù)器存儲能力的大小，為每個(gè)元數(shù)據(jù)服務(wù)器分配獨(dú)立子區(qū)間，其中，存儲能力越大的元數(shù)據(jù)服務(wù)器分配的獨(dú)立子區(qū)間越大；

確定元數(shù)據(jù)在對象存儲系統(tǒng)中的全局唯一標(biāo)識進(jìn)行運(yùn)算后的運(yùn)算結(jié)果，并根據(jù)預(yù)設(shè)的運(yùn)算結(jié)果與所述獨(dú)立子區(qū)間之間的映射關(guān)系，確定該運(yùn)算結(jié)果所屬的獨(dú)立子區(qū)間；

將所述元數(shù)據(jù)分布至確定的所述獨(dú)立子區(qū)間對應(yīng)的元數(shù)據(jù)服務(wù)器。

一種對象存儲系統(tǒng)中元數(shù)據(jù)分布的設(shè)備，該設(shè)備包括：

分配模塊，用于根據(jù)元數(shù)據(jù)服務(wù)器集群中各元數(shù)據(jù)服務(wù)器存儲能力的大小，為每個(gè)元數(shù)據(jù)服務(wù)器分配獨(dú)立子區(qū)間，其中，存儲能力越大的元數(shù)據(jù)服務(wù)器分配的獨(dú)立子區(qū)間越大；

確定模塊，用于確定元數(shù)據(jù)在對象存儲系統(tǒng)中的全局唯一標(biāo)識進(jìn)行運(yùn)算后的運(yùn)算結(jié)果，以及該運(yùn)算結(jié)果所屬的獨(dú)立子區(qū)間；

分布模塊，用于將所述元數(shù)據(jù)分布至確定的所述獨(dú)立子區(qū)間對應(yīng)的元數(shù)據(jù)服務(wù)器。

本發(fā)明有益效果如下：

本發(fā)明實(shí)施例中，根據(jù)元數(shù)據(jù)服務(wù)器集群中各MDS存儲能力的大小，為每個(gè)MDS分配獨(dú)立子區(qū)間，并根據(jù)元數(shù)據(jù)在對象存儲系統(tǒng)中的全局唯一標(biāo)識運(yùn)算后的運(yùn)算結(jié)果所屬的獨(dú)立子區(qū)間，將該元數(shù)據(jù)分布至該獨(dú)立子區(qū)間所對應(yīng)的MDS，利用該元數(shù)據(jù)服務(wù)器對該元數(shù)據(jù)進(jìn)行管理，由于元數(shù)據(jù)在元數(shù)據(jù)服務(wù)器集群中的分布充分考慮到了MDS的存儲能力，存儲能力越強(qiáng)的MDS所管理的元數(shù)據(jù)越大，確保了元數(shù)據(jù)在元數(shù)據(jù)服務(wù)器集群中分布的均衡性。

附圖說明

圖1為本實(shí)施例一的一種對象存儲系統(tǒng)中元數(shù)據(jù)分布的方法的流程圖；

圖2為以閉環(huán)的形式為元數(shù)據(jù)服務(wù)器分配獨(dú)立子區(qū)間示意圖；

圖3為加入新的元數(shù)據(jù)服務(wù)器時(shí)，縮小原來的元數(shù)據(jù)服務(wù)器所分配的獨(dú)立子區(qū)間的示意圖；

圖4為給新加入的元數(shù)據(jù)服務(wù)器分配獨(dú)立子區(qū)間的示意圖；