[發(fā)明專利]一種基于一致性哈希的分層混合存儲(chǔ)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710960834.0
• 申請(qǐng)日: 2017-10-17
• 公開（公告）號(hào): CN107844269B
• 公開（公告）日: 2020-06-02
• 發(fā)明（設(shè)計(jì)）人: 馮丹;劉云;齊一川;李晶
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 廖盈春;李智

本發(fā)明公開了一種基于一致性哈希的分層混合存儲(chǔ)系統(tǒng)，屬于計(jì)算機(jī)存儲(chǔ)領(lǐng)域，可以最大化利用各種存儲(chǔ)介質(zhì)特性，合理采用存儲(chǔ)策略，從而提高系統(tǒng)性能。本發(fā)明內(nèi)容包括：根據(jù)存儲(chǔ)介質(zhì)、存儲(chǔ)策略的差異設(shè)計(jì)分層一致性哈希環(huán)；在分層一致性哈希環(huán)中存儲(chǔ)對(duì)象通過訪問頻率、容量等指標(biāo)進(jìn)行分層存儲(chǔ)；引入監(jiān)控模塊，確定不同時(shí)間段采集數(shù)據(jù)頻率及其遷移閾值；引入調(diào)度模塊，針對(duì)數(shù)據(jù)隨時(shí)間冷熱變化，進(jìn)行合理的升降級(jí)數(shù)據(jù)遷移調(diào)度；采用森林?jǐn)?shù)據(jù)結(jié)構(gòu)管理SSD集群數(shù)據(jù)信息。本發(fā)明針對(duì)負(fù)載特性進(jìn)行分層存儲(chǔ)，根據(jù)存儲(chǔ)對(duì)象特點(diǎn)提供不同存儲(chǔ)介質(zhì)及存儲(chǔ)策略，增強(qiáng)系統(tǒng)靈活性、提高系統(tǒng)讀寫性能，并保證其穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明屬于混合存儲(chǔ)技術(shù)領(lǐng)域，更具體地，涉及一種基于一致性哈希的分層混合存儲(chǔ)系統(tǒng)。

背景技術(shù)

存儲(chǔ)系統(tǒng)設(shè)計(jì)一直趨向于追求高性能、大容量、低成本的特性。傳統(tǒng)磁盤(HDD)容量大、價(jià)格低，但是機(jī)械特性導(dǎo)致其耗能高、隨機(jī)讀寫性能較差。固態(tài)硬盤(SSD)采用半導(dǎo)體技術(shù)以閃存(flash)為存儲(chǔ)介質(zhì)，相對(duì)于HDD具有隨機(jī)讀寫速度快、功耗低、抗震性能好等優(yōu)點(diǎn)。由于向SSD寫數(shù)據(jù)前需進(jìn)行擦除操作，因此對(duì)其壽命造成影響，此外SSD容量較小且價(jià)格昂貴。顯然存儲(chǔ)系統(tǒng)不適合用SSD作為其唯一存儲(chǔ)器件，更傾向于兼容多種存儲(chǔ)介質(zhì)。現(xiàn)代存儲(chǔ)系統(tǒng)利用高性能存儲(chǔ)介質(zhì)作為低性能存儲(chǔ)介質(zhì)讀寫緩存，如SSD用來快速讀寫，HDD用作永久存儲(chǔ)，緩解內(nèi)存到磁盤讀寫速度不一致問題，但是SSD等高性能存儲(chǔ)介質(zhì)僅僅發(fā)揮緩存作用，沒有利用到其硬盤的性質(zhì)。為進(jìn)一步發(fā)揮SSD等高性能存儲(chǔ)介質(zhì)存儲(chǔ)的性能，有些存儲(chǔ)系統(tǒng)在高性能存儲(chǔ)介質(zhì)存放小容量的和經(jīng)常被訪問到的數(shù)據(jù)，而低性能存儲(chǔ)介質(zhì)存放大的和冷的數(shù)據(jù)。此外針對(duì)不同特性數(shù)據(jù)選擇不同冗余存儲(chǔ)策略。副本策略具有高可靠性，讀性能優(yōu)化的特點(diǎn)，但是成本開銷大；糾刪碼存儲(chǔ)策略用讀寫時(shí)間換取高可靠性及低成本開銷。因此許多存儲(chǔ)系統(tǒng)會(huì)將對(duì)象以兩種方式存儲(chǔ)，即一種采用副本，一種采用糾刪碼。承擔(dān)絕大部分讀請(qǐng)求的主存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)對(duì)象的完整副本，而糾刪碼節(jié)點(diǎn)保證了在主存儲(chǔ)節(jié)點(diǎn)故障后依然可以對(duì)外提供服務(wù)。這種方式具有高可靠性，高讀寫性能，但浪費(fèi)一定的存儲(chǔ)開銷，且副本節(jié)點(diǎn)承擔(dān)大部分請(qǐng)求，易造成擁塞。

存儲(chǔ)系統(tǒng)中一個(gè)關(guān)鍵性的問題是管理邏輯地址到物理地址的映射(文件名到具體存放的磁盤位置)，許多存儲(chǔ)系統(tǒng)使用一致性哈希算法解決這一問題。一致性哈希算法策略具有較好的負(fù)載平衡、最大程度避免存儲(chǔ)介質(zhì)變動(dòng)引起的數(shù)據(jù)遷移、大大減小數(shù)據(jù)查詢的時(shí)間開銷等優(yōu)越性。但是一致性哈希算法建哈希環(huán)過程中，僅僅只考慮到環(huán)上各存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)容量的差異，這使得當(dāng)存儲(chǔ)對(duì)象同時(shí)存入性能相差較大的不同節(jié)點(diǎn)時(shí)，其整體性能總?cè)Q于性能最低的節(jié)點(diǎn)，沒有充分利用各存儲(chǔ)介質(zhì)的特性。其次，研究表明存儲(chǔ)系統(tǒng)中80％的請(qǐng)求訪問了20％的數(shù)據(jù)，Spc協(xié)會(huì)發(fā)布的財(cái)務(wù)訪問數(shù)據(jù)表明80％的訪問集中于22％存儲(chǔ)文件，大部分的請(qǐng)求集中于對(duì)小文件、熱數(shù)據(jù)的訪問，而針對(duì)大數(shù)據(jù)、冷數(shù)據(jù)的請(qǐng)求較少。存儲(chǔ)系統(tǒng)中對(duì)冷熱數(shù)據(jù)、大小文件不加以區(qū)別對(duì)待，可能出現(xiàn)冷數(shù)據(jù)、大文件分配存儲(chǔ)于高性能設(shè)備，但是大部分時(shí)間不被訪問；而熱數(shù)據(jù)、小文件可能分配存儲(chǔ)于低性能設(shè)備，而被時(shí)常訪問。以上情況不僅僅降低了存儲(chǔ)系統(tǒng)性能，同時(shí)還大大降低了系統(tǒng)利用率。

現(xiàn)代存儲(chǔ)系統(tǒng)沒有綜合考慮存儲(chǔ)介質(zhì)、數(shù)據(jù)大小、數(shù)據(jù)冷熱、客戶訪問特性以及冗余存儲(chǔ)策略的選擇，忽略了客戶訪問偶然性特點(diǎn)，且數(shù)據(jù)遷移頻率高，影響系統(tǒng)效率，不具有通用性。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于一致性哈希的分層混合存儲(chǔ)系統(tǒng)，由此解決現(xiàn)代存儲(chǔ)系統(tǒng)沒有綜合考慮存儲(chǔ)介質(zhì)、數(shù)據(jù)大小、數(shù)據(jù)冷熱、客戶訪問特性以及冗余存儲(chǔ)策略的選擇，忽略了客戶訪問偶然性特點(diǎn)而導(dǎo)致的數(shù)據(jù)遷移頻率高，影響系統(tǒng)效率以及不具有通用性的技術(shù)問題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于一致性哈希的分層混合存儲(chǔ)系統(tǒng)，包括：分層一致性哈希環(huán)、監(jiān)控模塊以及調(diào)度模塊；