[發(fā)明專利]一種多種存儲(chǔ)介質(zhì)并存下的多路數(shù)據(jù)分配方法

在審

• 申請?zhí)枺?/td>: 201410252644.X
• 申請日: 2014-06-09
• 公開（公告）號(hào): CN104035880A
• 公開（公告）日: 2014-09-10
• 發(fā)明（設(shè)計(jì)）人: 孫知信;王文君;宮婧
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F12/02
• 分類號(hào): G06F12/02;G06F17/30
• 代理公司: 南京知識(shí)律師事務(wù)所 32207
• 代理人: 胡玲

技術(shù)領(lǐng)域：

本發(fā)明涉及存儲(chǔ)系統(tǒng)領(lǐng)域，具體涉及到多種存儲(chǔ)介質(zhì)并存下的具體數(shù)據(jù)分布領(lǐng)域。

背景技術(shù)

近年來，大數(shù)據(jù)已經(jīng)成為學(xué)術(shù)界和工業(yè)界普遍關(guān)注的一個(gè)熱點(diǎn)問題。與大數(shù)據(jù)技術(shù)同步發(fā)展的是新型存儲(chǔ)技術(shù)。鑒于磁盤在面臨大數(shù)據(jù)帶來的挑戰(zhàn)時(shí)已顯得力不從心，市場上對(duì)于新型存儲(chǔ)器件的需求越來越強(qiáng)烈，國際上從2000年以來在閃存、相變存儲(chǔ)器等新型存儲(chǔ)器件的制造和產(chǎn)業(yè)化方面取得了重要突破，并已開始逐步在各類應(yīng)用領(lǐng)域(如嵌入式系統(tǒng)、企業(yè)計(jì)算等)中使用。其中閃存和PCM發(fā)展最為迅速，目前已經(jīng)達(dá)到了實(shí)用化的水平。

一系列新型存儲(chǔ)介質(zhì)的引入使得大數(shù)據(jù)存儲(chǔ)架構(gòu)有了多種選擇。但是，由于新型存儲(chǔ)介質(zhì)在價(jià)格、壽命等方面與傳統(tǒng)的磁盤相比不具優(yōu)勢，因此目前主流的觀點(diǎn)是在大數(shù)據(jù)存儲(chǔ)系統(tǒng)中同時(shí)使用新型存儲(chǔ)介質(zhì)以及傳統(tǒng)存儲(chǔ)介質(zhì)，由此產(chǎn)生了多種存儲(chǔ)介質(zhì)并存的大數(shù)據(jù)存儲(chǔ)架構(gòu)。

新型存儲(chǔ)介質(zhì)的加入給大數(shù)據(jù)存儲(chǔ)帶來了機(jī)遇的同時(shí)也帶來了挑戰(zhàn)，特別是底層存儲(chǔ)介質(zhì)發(fā)生的變化直接影響上層存儲(chǔ)系統(tǒng)中的很多方法和算法，其中之一便是數(shù)據(jù)分布方法。

數(shù)據(jù)分布方法是大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的關(guān)鍵技術(shù)之一，主要解決存儲(chǔ)數(shù)據(jù)對(duì)象到存儲(chǔ)資源對(duì)象的映射問題。數(shù)據(jù)分布方法決定了系統(tǒng)數(shù)據(jù)組織管理的效率，直接影響到存儲(chǔ)系統(tǒng)的可擴(kuò)展性，數(shù)據(jù)可靠性，存儲(chǔ)系統(tǒng)的負(fù)載均衡等問題。

因此，在這種多種存儲(chǔ)介質(zhì)并存的存儲(chǔ)體系下，如何根據(jù)數(shù)據(jù)的不同特性(例如訪問的冷熱屬性、操作的特性等)以及不同存儲(chǔ)介質(zhì)的特性(讀寫速度、時(shí)延等)合理地分配數(shù)據(jù)存儲(chǔ)位置，既保證存儲(chǔ)系統(tǒng)的可擴(kuò)展性，數(shù)據(jù)可靠性，存儲(chǔ)系統(tǒng)的負(fù)載均衡等，同時(shí)充分發(fā)揮各新型存儲(chǔ)介質(zhì)的優(yōu)勢是需要考慮的重要問題。

在存儲(chǔ)系統(tǒng)設(shè)計(jì)中，早期出現(xiàn)的數(shù)據(jù)分布策略有三種基本方法：區(qū)間劃分法、輪循分配法和散列函數(shù)分配法。這三種方法中，前兩種方法實(shí)現(xiàn)相對(duì)簡單，易于實(shí)現(xiàn)；但數(shù)據(jù)單元的分配容易造成存儲(chǔ)負(fù)載失衡的情況，影響系統(tǒng)的資源利用率，導(dǎo)致系統(tǒng)的總體性能的下降。第三種方法，由于利用散列函數(shù)計(jì)算獲得的鍵值為偽隨機(jī)數(shù)，所以存儲(chǔ)對(duì)象在地址空間上的分布是均勻的，因此，該方法更加容易實(shí)現(xiàn)存儲(chǔ)資源單元之間的負(fù)載均衡。但是，這種方法對(duì)散列函數(shù)的數(shù)學(xué)特性有一定要求，并且存在哈希沖突的問題。

之后隨著應(yīng)用需求的變化和發(fā)展，存儲(chǔ)系統(tǒng)的規(guī)模不斷擴(kuò)大，數(shù)據(jù)分布策略也有了新的發(fā)展。存儲(chǔ)分布策略設(shè)計(jì)開始更加注重系統(tǒng)的可擴(kuò)展性、支持底層存儲(chǔ)節(jié)點(diǎn)的動(dòng)態(tài)變化、提供快捷的數(shù)據(jù)查詢機(jī)制等問題。具體有：線性哈希、可擴(kuò)展哈希算法、分布式動(dòng)態(tài)哈希算法、一致性哈希算法等。以較流行的一致性哈希算法為例，其原理分為兩步，如圖1所示：首先，對(duì)存儲(chǔ)節(jié)點(diǎn)的哈希值進(jìn)行計(jì)算，其將存儲(chǔ)空間抽象為一個(gè)環(huán)，將存儲(chǔ)節(jié)點(diǎn)配置到環(huán)上。環(huán)上所有的節(jié)點(diǎn)都有一個(gè)值。其次，對(duì)數(shù)據(jù)進(jìn)行哈希計(jì)算，按順時(shí)針方向?qū)⑵溆成涞诫x其最近的節(jié)點(diǎn)上去。

但以上這些數(shù)據(jù)分布策略雖優(yōu)缺點(diǎn)各有不同，但大多還是針對(duì)磁盤和內(nèi)存的數(shù)據(jù)分布，統(tǒng)一的考慮存儲(chǔ)節(jié)點(diǎn)，都還沒有考慮如何在多種存儲(chǔ)介質(zhì)并存下的具體的數(shù)據(jù)分布方法。

發(fā)明內(nèi)容

發(fā)明目的：現(xiàn)今一系列新型存儲(chǔ)介質(zhì)已經(jīng)逐漸應(yīng)用到大數(shù)據(jù)存儲(chǔ)系統(tǒng)的搭建之中并形成多種存儲(chǔ)介質(zhì)并存的大數(shù)據(jù)存儲(chǔ)架構(gòu)，但現(xiàn)有的大數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)分配方法還主要針對(duì)單一的存儲(chǔ)介質(zhì)或并不區(qū)分不同的存儲(chǔ)介質(zhì)，這樣的數(shù)據(jù)分配方法能夠?qū)崿F(xiàn)一定程度上的負(fù)載均衡、可擴(kuò)展性等，但卻不能充分運(yùn)用各種新型存儲(chǔ)介質(zhì)的優(yōu)勢，結(jié)合數(shù)據(jù)的特性以及不同存儲(chǔ)介質(zhì)的特性合理地分配數(shù)據(jù)存儲(chǔ)位置，提高系統(tǒng)資源利用率。

技術(shù)方案：一種多種存儲(chǔ)介質(zhì)并存下的多路數(shù)據(jù)分配方法，其特征在于，在存儲(chǔ)系統(tǒng)中設(shè)有數(shù)據(jù)特征提取及分流模塊和記錄各存儲(chǔ)節(jié)點(diǎn)剩余資源量的存儲(chǔ)資源監(jiān)控模塊，并根據(jù)存儲(chǔ)系統(tǒng)中存儲(chǔ)介質(zhì)種類n設(shè)立對(duì)應(yīng)的n路數(shù)據(jù)分布策略。

優(yōu)選方案為存儲(chǔ)資源監(jiān)控模塊將存儲(chǔ)資源剩余量等信息反饋給數(shù)據(jù)特征提取及分流模塊，數(shù)據(jù)特征提取及分流模塊中數(shù)據(jù)提取出的特征、數(shù)據(jù)特性及熱度挖掘模塊以及存儲(chǔ)資源監(jiān)控模塊反饋的信息共同決定數(shù)據(jù)分流到哪一路。

優(yōu)選方案為存儲(chǔ)系統(tǒng)中的數(shù)據(jù)特征提取及分流模塊中設(shè)立數(shù)據(jù)特性及熱度挖掘模塊。

優(yōu)選方案為數(shù)據(jù)特征提取及分流模塊中分流的方法，其特征為優(yōu)先級(jí)-資源量存儲(chǔ)資格表和三輸入：待存儲(chǔ)數(shù)據(jù)類型特征、數(shù)據(jù)特性及熱度挖掘模塊挖掘出的優(yōu)先級(jí)信息、存儲(chǔ)資源監(jiān)控模塊反饋的空閑存儲(chǔ)資源信息。

有益效果：