[發(fā)明專利]在一致性哈希數(shù)據(jù)分布基礎(chǔ)上構(gòu)建層次目錄的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210290400.1
• 申請(qǐng)日: 2012-08-15
• 公開(kāi)（公告）號(hào): CN102819599A
• 公開(kāi)（公告）日: 2012-12-12
• 發(fā)明（設(shè)計(jì)）人: 程耀東;何沛中;趙志峰;應(yīng)必善;陳靚;邸鵬;程永紅
• 申請(qǐng)（專利權(quán)）人: 華數(shù)傳媒網(wǎng)絡(luò)有限公司;北京華創(chuàng)智云科技有限責(zé)任公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 杭州裕陽(yáng)專利事務(wù)所(普通合伙) 33221
• 代理人: 江助菊

技術(shù)領(lǐng)域

本發(fā)明涉及在一致性哈希數(shù)據(jù)分布基礎(chǔ)上構(gòu)建層次目錄的方法。

背景技術(shù)

隨著信息化的深入和發(fā)展，數(shù)據(jù)的規(guī)模越來(lái)越大，對(duì)存儲(chǔ)的規(guī)模和底層架構(gòu)的要求也越來(lái)越高。面對(duì)如此海量的數(shù)據(jù)存儲(chǔ)，傳統(tǒng)的服務(wù)器從容量和可擴(kuò)展性方面已經(jīng)適應(yīng)不了數(shù)據(jù)的存儲(chǔ)要求，網(wǎng)絡(luò)存儲(chǔ)技術(shù)逐漸成為了存儲(chǔ)市場(chǎng)上的主流技術(shù)。與傳統(tǒng)的存儲(chǔ)系統(tǒng)相比，網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)在可用性、可用性和成本方面都有較大的優(yōu)勢(shì)。而基于一致性HASH的點(diǎn)對(duì)點(diǎn)存儲(chǔ)系統(tǒng)（P2P）與其他存儲(chǔ)技術(shù)相比，P2P存儲(chǔ)系統(tǒng)在可用性、可擴(kuò)展性和可靠性方面具有明顯的優(yōu)勢(shì)，是當(dāng)前存儲(chǔ)技術(shù)研究的熱點(diǎn)。比較有代表性的是應(yīng)用于亞馬遜Dyanamo系統(tǒng)、Apache?Cassandra等。

一致性HASH算法是P2P存儲(chǔ)系統(tǒng)的核心算法，在1997年由麻省理工學(xué)院提出的一種分布式哈希算法，設(shè)計(jì)目標(biāo)是為了解決因特網(wǎng)中的熱點(diǎn)問(wèn)題。一致性哈希算法修正了簡(jiǎn)單哈希算法帶來(lái)的問(wèn)題，具有平衡性、單調(diào)性、分散性和負(fù)載均衡等特點(diǎn)。在P2P環(huán)境中得到真正的應(yīng)用。一致性哈希算法具有多種具體的實(shí)現(xiàn)，包括Chord算法、KAD算法等。經(jīng)過(guò)一致性哈希算法散列之后，當(dāng)有新的節(jié)點(diǎn)加入時(shí)，將只影響一臺(tái)節(jié)點(diǎn)的存儲(chǔ)情況，例如新加入的節(jié)點(diǎn)H的散列在B與C之間，則原先由C處理的一些數(shù)據(jù)可能將移至H處理，而其他所有節(jié)點(diǎn)的處理情況都將保持不變，因此表現(xiàn)出很好的單調(diào)性。而如果刪除一個(gè)節(jié)點(diǎn)，例如刪除C節(jié)點(diǎn)，此時(shí)原來(lái)由C處理的數(shù)據(jù)將移至D節(jié)點(diǎn)，而其它節(jié)點(diǎn)的處理情況仍然不變。這一特點(diǎn)為基于一致性哈希的存儲(chǔ)系統(tǒng)在擴(kuò)展性方面提供了強(qiáng)有力的技術(shù)保障。

要解決的技術(shù)問(wèn)題

基于一致性哈希的存儲(chǔ)系統(tǒng)，在系統(tǒng)擴(kuò)展性、負(fù)載均衡方面表現(xiàn)出了很大的優(yōu)勢(shì)，但由于此種存儲(chǔ)系統(tǒng)沒(méi)有目錄層次，是一種扁平化結(jié)構(gòu)，在數(shù)據(jù)訪問(wèn)方面，是通過(guò)鍵值對(duì)應(yīng)關(guān)系，不適合于傳統(tǒng)的文件系統(tǒng)應(yīng)用。

發(fā)明內(nèi)容

針對(duì)上述技術(shù)缺陷，本發(fā)明提出在一致性哈希數(shù)據(jù)分布基礎(chǔ)上構(gòu)建層次目錄的方法。

為了解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

在一致性哈希數(shù)據(jù)分布基礎(chǔ)上構(gòu)建層次目錄的方法，包括如下步驟：

11）物理存儲(chǔ)服務(wù)器，連接存儲(chǔ)硬件設(shè)備，通過(guò)本地文件系統(tǒng)形成/data1~/dataX物理存儲(chǔ)目錄，通過(guò)存儲(chǔ)軟件服務(wù)器端將不同的物理存儲(chǔ)目錄虛擬成不同邏輯存儲(chǔ)節(jié)點(diǎn)；

12）將邏輯存儲(chǔ)節(jié)點(diǎn)與物理存儲(chǔ)目錄一對(duì)一的映射，并可以按需進(jìn)行調(diào)整，以實(shí)現(xiàn)動(dòng)態(tài)遷移；存儲(chǔ)客戶端以邏輯存儲(chǔ)卷為單位掛載文件系統(tǒng)，邏輯存儲(chǔ)卷由一個(gè)或多個(gè)邏輯存儲(chǔ)節(jié)點(diǎn)組成；

13）通過(guò)客戶端數(shù)據(jù)分布與訪問(wèn)層，提供全局命名空間，使得構(gòu)建的目錄層次，在物理存儲(chǔ)服務(wù)器上的物理存儲(chǔ)目錄與客戶端全局命名空間完全一致。

2、根據(jù)權(quán)利要求1所述的在一致性哈希數(shù)據(jù)分布基礎(chǔ)上構(gòu)建層次目錄的方法，其特征在于，所述客戶端訪問(wèn)一個(gè)文件或目錄包括如下步驟：

21）首先通過(guò)哈希算法，計(jì)算出一個(gè)哈希值，所述哈希值的計(jì)算過(guò)程包括如下步驟：首先采用字符串哈希算法，對(duì)文件或目錄名進(jìn)行計(jì)算，得到一個(gè)數(shù)字，然后該數(shù)字對(duì)2的32次方取模，得到最終的哈希值；

22）所述邏輯存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)著相應(yīng)的數(shù)值范圍，根據(jù)哈希值所屬的范圍找到相應(yīng)的邏輯存儲(chǔ)節(jié)點(diǎn)；根據(jù)邏輯存儲(chǔ)節(jié)點(diǎn)與物理存儲(chǔ)服務(wù)器上的物理目錄有一對(duì)一的映射關(guān)系，找到相應(yīng)的物理存儲(chǔ)空間。

進(jìn)一步的，所述客戶端創(chuàng)建目錄包括如下步驟：

客戶端創(chuàng)建目錄操作時(shí)首先計(jì)算目錄名的哈希值，然后找到其哈希值的物理存儲(chǔ)服務(wù)器與物理硬件存儲(chǔ)設(shè)備，保證在該物理硬件設(shè)備上創(chuàng)建成功，其它物理硬件設(shè)備上并不立即建立該目錄，而是在后臺(tái)進(jìn)行補(bǔ)齊，補(bǔ)齊時(shí)首先從其哈希值對(duì)應(yīng)的物理硬件存儲(chǔ)設(shè)備上獲取該目錄的屬性，該屬性包括全局標(biāo)識(shí)符GFID、創(chuàng)建時(shí)間、修改時(shí)間、訪問(wèn)權(quán)限。

進(jìn)一步的，如果創(chuàng)建目錄時(shí)其父目錄還沒(méi)有同步完成，此時(shí)需要立即對(duì)其父目錄進(jìn)行補(bǔ)齊；補(bǔ)齊父目錄，要到其父目錄哈希值值對(duì)應(yīng)的物理硬件存儲(chǔ)設(shè)備上獲取父目錄的屬性，該屬性包括全局標(biāo)識(shí)符GFID、創(chuàng)建時(shí)間、修改時(shí)間。

進(jìn)一步的，所述客戶端讀取目錄包括如下步驟：采用如下計(jì)算方法將指針二維信息與邏輯目錄的指針一維信息做一對(duì)一的映射；

二維到一維轉(zhuǎn)換即從物理存儲(chǔ)目錄到統(tǒng)一命名空間的邏輯存儲(chǔ)目錄讀取：

邏輯指針=物理指針×邏輯存儲(chǔ)節(jié)點(diǎn)個(gè)數(shù)＋當(dāng)前邏輯存儲(chǔ)節(jié)點(diǎn)編號(hào)；

該轉(zhuǎn)換用于從物理硬件存儲(chǔ)設(shè)備讀取目錄向上層文件系統(tǒng)返回時(shí)，其中，邏輯存儲(chǔ)節(jié)點(diǎn)個(gè)數(shù)在邏輯存儲(chǔ)卷的配置文件中可以得到，當(dāng)前邏輯存儲(chǔ)節(jié)點(diǎn)編號(hào)是已知的；