[發(fā)明專利]基于兩級哈希的對象存儲數(shù)據(jù)分布機制

在審

• 申請?zhí)枺?/td>: 201410111771.8
• 申請日: 2014-03-25
• 公開（公告）號: CN103905540A
• 公開（公告）日: 2014-07-02
• 發(fā)明（設(shè)計）人: 袁冬
• 申請（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及計算機存儲領(lǐng)域，具體涉及集群存儲中基于兩級哈希的對象存儲數(shù)據(jù)分布機制。

背景技術(shù)

隨著網(wǎng)絡(luò)應用的迅速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來越大，PB?級別的海量數(shù)據(jù)存儲變得越來越重要。傳統(tǒng)意義的文件系統(tǒng)已不能滿足現(xiàn)有應用的大容量、高可靠性、高性能等要求，為滿足這些新要求，新的分布式存儲系統(tǒng)應用得到了廣泛重視。

對象存儲結(jié)構(gòu)作為一種新型的存儲結(jié)構(gòu)，提供基于對象的訪問接口,有效的合并了NAS和SAN存儲結(jié)構(gòu)優(yōu)勢,通過高層次的抽象具有NAS的跨平臺共享數(shù)據(jù)和基于策略的安全訪問優(yōu)點,支持直接訪問具有SAN的高性能和交換網(wǎng)絡(luò)結(jié)構(gòu)的可伸縮性。

對象是數(shù)據(jù)存儲的基本單位,它是具有可變長度的有序字節(jié)的數(shù)據(jù)集合,能夠存儲任意類型的數(shù)據(jù),如文件、數(shù)據(jù)庫記錄、圖像、多媒體等，單個的對象甚至可以存儲整個文件系統(tǒng)或者數(shù)據(jù)庫系統(tǒng)。

對象提供類似于文件的訪問方法,如Open、Close、Create、Remove、Read、Write等。對象由用戶數(shù)據(jù)、用戶屬性和存儲屬性組成。用戶數(shù)據(jù)與傳統(tǒng)存儲系統(tǒng)中的文件數(shù)據(jù)是相同的；用戶屬性描述了對象的一些特定屬性,例如服務特性屬性描述一個多媒體對象的延遲和吞吐需求；存儲屬性描述了對象在磁盤上的塊分布，包括對象ID，塊指針，邏輯長度和使用容量等屬性。

存儲對象的設(shè)備稱之為對象存儲設(shè)備(Object-Based?Storage?Device，OSD)。OSD是一個智能設(shè)備,具有獨立的存儲介質(zhì)、處理器、內(nèi)存以及網(wǎng)卡等,能夠獨立管理其自身的安全、存儲和網(wǎng)絡(luò)通信。通常認為一個對象存儲設(shè)備就是一臺完整的存儲節(jié)點或存儲服務器。

在對象存儲集群中，通常采用哈希或者一致性哈希算法實現(xiàn)對象的定位，即對于給定的對象，通過其對象名稱的哈希結(jié)果確定其所在的OSD。這種方法不需要查詢操作，也沒有單點瓶頸，因此具備良好的橫向擴展特性。

但是由于對象存儲集群中存儲的對象數(shù)量通常極為龐大，對每一個對象進行一致性哈希需要消耗大量的計算資源。且這一現(xiàn)象在集群中的存儲節(jié)點發(fā)生故障，需要對集群存儲的對象的重新分布時表現(xiàn)的更為明顯，因為在這一過程中，需要重新計算所有對象的分布情況，計算量非常大，容易成為系統(tǒng)的瓶頸、影響系統(tǒng)的性能。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)存在的不足之處，提供一種基于兩級哈希的對象存儲數(shù)據(jù)分布機制。

本發(fā)明公開了一種基于兩級哈希的對象存儲數(shù)據(jù)分布機構(gòu)，其解決所述技術(shù)問題采用的技術(shù)方案如下：在集群對象存儲中，本發(fā)明使用兩級哈希算法對存儲對象的分布進行計算，來解決存儲對象與存儲節(jié)點之間映射關(guān)系的問題；在建立存儲對象與存儲節(jié)點之間映射關(guān)系的過程中，引入了一個存儲對象與存儲節(jié)點之間的中間層，稱之為放置組，所述放置組是一個邏輯概念，表示一個虛擬的容器，屬于同一個放置組的存儲對象將采用同樣的放置規(guī)則，即分布到相同的存儲節(jié)點上。

在存儲對象到存儲節(jié)點的映射關(guān)系中，存儲對象首先使用簡單哈希算法被分配到某個放置組，然后放置組再使用一致性哈希算法分布到存儲節(jié)點。即將原本存儲對象-存儲節(jié)點之間的映射關(guān)系拆分為兩級映射關(guān)系：存儲對象-放置組之間的映射關(guān)系和放置組和存儲節(jié)點之間的映射關(guān)系。其中前者使用簡單的哈希算法，后者使用一致性哈希算法。這樣就間接的建立了存儲對象與存儲節(jié)點之間的映射關(guān)系。

本發(fā)明公開的基于兩級哈希的對象存儲數(shù)據(jù)分布機制的有益效果是：

使用所述基于兩級哈希的對象存儲數(shù)據(jù)分布機制能夠降低存儲對象定位過程中的運算量，特別是能夠降低故障恢復過程中，存儲對象重新定位的運算量；當存儲節(jié)點發(fā)生宕機時，只需要重新計算放置組與存儲節(jié)點之間的映射關(guān)系，相對于不限制數(shù)量和名稱的存儲對象來說，放置組的數(shù)目和名稱都是預先定義的，且放置組的數(shù)據(jù)遠小于存儲對象的數(shù)目，因此可以極大的降低故障恢復過程中，數(shù)據(jù)重新分布的計算量，提高系統(tǒng)性能。

附圖說明

附圖1為基于兩級哈希的對象存儲數(shù)據(jù)分布機制的示意圖；

附圖標注說明：1、存儲對象；2、放置組；3、存儲節(jié)點；4、簡單哈希算法（存儲對象名稱-放置組）；5、一致性哈希算法（放置組名稱-存儲節(jié)點）。

具體實施方式

下面結(jié)合附圖和實施例，對本發(fā)明所公開的基于兩級哈希的對象存儲數(shù)據(jù)分布機制做進一步詳細說明。