[發(fā)明專利]一種基于哈希環(huán)的非遷移分布式存儲(chǔ)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410723737.6
• 申請(qǐng)日: 2014-12-03
• 公開(kāi)（公告）號(hào): CN104378447B
• 公開(kāi)（公告）日: 2017-10-31
• 發(fā)明（設(shè)計(jì)）人: 龍德虎;楊安民
• 申請(qǐng)（專利權(quán)）人: 深圳市鼎元科技開(kāi)發(fā)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 廣東知恒律師事務(wù)所44342
• 代理人: 柴吉峰

1.一種基于哈希環(huán)的非遷移分布式存儲(chǔ)方法，其特征在于，包括如下步驟：

S1.分布式存儲(chǔ)系統(tǒng)的系統(tǒng)管理模塊配置一個(gè)抽象的基于哈希算法的環(huán)狀結(jié)構(gòu)——哈希環(huán)，所述哈希環(huán)上均勻分布虛擬節(jié)點(diǎn)，所述虛擬節(jié)點(diǎn)上可安裝配置存儲(chǔ)設(shè)備成為物理節(jié)點(diǎn)，所述物理節(jié)點(diǎn)上的存儲(chǔ)設(shè)備劃分為索引信息存儲(chǔ)空間和數(shù)據(jù)信息存儲(chǔ)空間；

S2.系統(tǒng)管理模塊根據(jù)存儲(chǔ)設(shè)備的CPU、內(nèi)存和帶寬的性能參數(shù)為每個(gè)物理節(jié)點(diǎn)配置相應(yīng)的性能權(quán)值；

S3.系統(tǒng)進(jìn)行讀取請(qǐng)求后,系統(tǒng)管理模塊根據(jù)物理節(jié)點(diǎn)內(nèi)所述數(shù)據(jù)信息存儲(chǔ)空間的負(fù)載情況為每個(gè)物理節(jié)點(diǎn)分配負(fù)載權(quán)值；同時(shí)系統(tǒng)管理模塊根據(jù)物理節(jié)點(diǎn)的讀寫(xiě)請(qǐng)求情況計(jì)算物理節(jié)點(diǎn)內(nèi)所述索引信息存儲(chǔ)空間的壓力權(quán)值；

S4.系統(tǒng)管理模塊在存儲(chǔ)系統(tǒng)運(yùn)行過(guò)程中根據(jù)物理節(jié)點(diǎn)上報(bào)的物理節(jié)點(diǎn)內(nèi)數(shù)據(jù)信息負(fù)載權(quán)值、索引信息的壓力權(quán)值以及物理節(jié)點(diǎn)性能權(quán)值計(jì)算出當(dāng)前系統(tǒng)中所有物理節(jié)點(diǎn)的寫(xiě)優(yōu)先權(quán)值；

S5.當(dāng)進(jìn)行數(shù)據(jù)讀寫(xiě)請(qǐng)求時(shí),系統(tǒng)管理者先將需要讀寫(xiě)的數(shù)據(jù)塊進(jìn)行哈希運(yùn)算映射到哈希環(huán)上相應(yīng)位置，然后沿順時(shí)針?lè)较蛘业阶罱奈锢砉?jié)點(diǎn)，再根據(jù)所述物理節(jié)點(diǎn)的索引信息進(jìn)行數(shù)據(jù)的讀取工作或根據(jù)所述物理節(jié)點(diǎn)的寫(xiě)優(yōu)先權(quán)值進(jìn)行數(shù)據(jù)的寫(xiě)入工作；

其中，所述步驟S5數(shù)據(jù)的寫(xiě)入過(guò)程如下：

S521.預(yù)設(shè)物理節(jié)點(diǎn)的寫(xiě)優(yōu)先權(quán)值的寫(xiě)入閥值；

S522.當(dāng)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)寫(xiě)入請(qǐng)求時(shí),將數(shù)據(jù)塊進(jìn)行哈希運(yùn)算并映射到哈希環(huán)上相應(yīng)位置；

S523.沿哈希環(huán)順時(shí)針?lè)较蛘业阶罱奈锢砉?jié)點(diǎn)F1作為接受寫(xiě)請(qǐng)求的節(jié)點(diǎn),根據(jù)物理節(jié)點(diǎn)的寫(xiě)優(yōu)先權(quán)值，若物理節(jié)點(diǎn)F1的寫(xiě)優(yōu)先權(quán)值大于或等于預(yù)設(shè)的寫(xiě)入閥值，則將數(shù)據(jù)寫(xiě)入物理節(jié)點(diǎn)F1，并將索引信息寫(xiě)入物理節(jié)點(diǎn)F1；

S524.若物理節(jié)點(diǎn)F1的寫(xiě)優(yōu)先權(quán)值小于預(yù)設(shè)的寫(xiě)優(yōu)先權(quán)值的寫(xiě)入閥值，則查找寫(xiě)優(yōu)先權(quán)值大于預(yù)設(shè)優(yōu)先權(quán)值寫(xiě)入閥值的物理節(jié)點(diǎn)F2，將數(shù)據(jù)寫(xiě)入所述物理節(jié)點(diǎn)F2，并將索引信息寫(xiě)入所述物理節(jié)點(diǎn)F1。

2.根據(jù)權(quán)利要求1所述的基于哈希環(huán)的非遷移分布式存儲(chǔ)方法，其特征在于，所述步驟S5的數(shù)據(jù)讀取過(guò)程如下：

S511.當(dāng)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)讀取請(qǐng)求時(shí),將要讀取的數(shù)據(jù)映射到哈希環(huán)上的相應(yīng)位置；

S512.沿哈希環(huán)的順時(shí)針?lè)较蚨ㄎ坏较乱晃锢砉?jié)點(diǎn)D1上，讀取此物理節(jié)點(diǎn)的索引信息，取得數(shù)據(jù)實(shí)際存儲(chǔ)的位置；

S513.若數(shù)據(jù)存儲(chǔ)在所述物理節(jié)點(diǎn)D1上，則進(jìn)行數(shù)據(jù)的讀??；若數(shù)據(jù)不存儲(chǔ)在所述物理節(jié)點(diǎn)D1上，則根據(jù)索引信息定位數(shù)據(jù)實(shí)際存放的物理節(jié)點(diǎn)D2，進(jìn)行數(shù)據(jù)的讀取。

3.根據(jù)權(quán)利要求1所述的基于哈希環(huán)的非遷移分布式存儲(chǔ)方法，其特征在于，數(shù)據(jù)的寫(xiě)入過(guò)程還包括以下步驟：

預(yù)設(shè)索引信息存儲(chǔ)空間的可用空間閥值，若物理節(jié)點(diǎn)F1索引信息存儲(chǔ)空間的可用空間小于預(yù)設(shè)的可用空間閥值，則提示系統(tǒng)在物理節(jié)點(diǎn)F1的逆時(shí)針?lè)较蛳鄳?yīng)虛擬節(jié)點(diǎn)配置新的存儲(chǔ)設(shè)備，并將物理節(jié)點(diǎn)F1索引信息儲(chǔ)存空間內(nèi)的部分索引信息遷移存儲(chǔ)到所述新的存儲(chǔ)設(shè)備上。

4.根據(jù)權(quán)利要求1所述的基于哈希環(huán)的非遷移分布式存儲(chǔ)方法,其特征在于,所述步驟S1中虛擬節(jié)點(diǎn)為64個(gè)或1024個(gè)。

5.一種基于哈希環(huán)的非遷移分布式存儲(chǔ)系統(tǒng)，包括哈希環(huán)、系統(tǒng)管理模塊、虛擬節(jié)點(diǎn)和物理節(jié)點(diǎn)，

所述虛擬節(jié)點(diǎn)和所述物理節(jié)點(diǎn)位于所述哈希環(huán)上；

所述物理節(jié)點(diǎn)上的存儲(chǔ)設(shè)備劃分為索引信息存儲(chǔ)空間和數(shù)據(jù)信息存儲(chǔ)空間；

所述系統(tǒng)管理模塊通過(guò)構(gòu)建哈希環(huán)，負(fù)責(zé)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行配置和管理，以及對(duì)物理節(jié)點(diǎn)的性能權(quán)值、壓力權(quán)值和負(fù)載權(quán)值進(jìn)行狀態(tài)監(jiān)控，計(jì)算出當(dāng)前系統(tǒng)中所有物理節(jié)點(diǎn)的寫(xiě)優(yōu)先權(quán)值；當(dāng)所述存儲(chǔ)系統(tǒng)進(jìn)行寫(xiě)入時(shí)，首先預(yù)設(shè)物理節(jié)點(diǎn)的寫(xiě)優(yōu)先權(quán)值的寫(xiě)入閥值，然后向存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)寫(xiě)入請(qǐng)求,將數(shù)據(jù)塊進(jìn)行哈希運(yùn)算并映射到哈希環(huán)上相應(yīng)位置，最后沿哈希環(huán)順時(shí)針?lè)较蛘业阶罱奈锢砉?jié)點(diǎn)F1作為接受寫(xiě)請(qǐng)求的節(jié)點(diǎn),若物理節(jié)點(diǎn)F1的寫(xiě)優(yōu)先權(quán)值大于或等于預(yù)設(shè)的寫(xiě)優(yōu)先權(quán)值的寫(xiě)入閥值，則將數(shù)據(jù)寫(xiě)入物理節(jié)點(diǎn)F1，并將索引信息寫(xiě)入物理節(jié)點(diǎn)F1，若物理節(jié)點(diǎn)F1的寫(xiě)優(yōu)先權(quán)值小于預(yù)設(shè)的寫(xiě)優(yōu)先權(quán)值的寫(xiě)入閥值，則查找寫(xiě)優(yōu)先權(quán)值大于預(yù)設(shè)寫(xiě)優(yōu)先權(quán)值的寫(xiě)入閥值的物理節(jié)點(diǎn)F2，將數(shù)據(jù)寫(xiě)入所述物理節(jié)點(diǎn)F2，并將索引信息寫(xiě)入所述物理節(jié)點(diǎn)F1；

當(dāng)所述存儲(chǔ)系統(tǒng)進(jìn)行讀取時(shí)，先將需要讀取的數(shù)據(jù)塊進(jìn)行哈希運(yùn)算映射到哈希環(huán)上相應(yīng)位置，然后沿順時(shí)針?lè)较蛘业阶罱奈锢砉?jié)點(diǎn)，再根據(jù)所述物理節(jié)點(diǎn)的索引信息進(jìn)行數(shù)據(jù)讀取工作。