[發(fā)明專利]一種集群下基于數(shù)據(jù)緩存的糾刪碼歸檔方法

有效

• 申請?zhí)枺?/td>: 201510979326.8
• 申請日: 2015-12-23
• 公開（公告）號: CN105610921B
• 公開（公告）日: 2018-09-07
• 發(fā)明（設(shè)計）人: 黃建忠;曹強;謝長生;蔡穎;代爾衛(wèi);夏杰
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 武漢東喻專利代理事務(wù)所(普通合伙) 42224
• 代理人: 黎慧華

本發(fā)明公開了一種集群下基于數(shù)據(jù)緩存的糾刪碼歸檔方法,包括以下步驟：(1)根據(jù)用戶訪問請求，將所需數(shù)據(jù)分塊從其所在生產(chǎn)節(jié)點讀取到節(jié)點緩沖區(qū)，并將數(shù)據(jù)分塊發(fā)送給訪問節(jié)點，同時根據(jù)歸檔數(shù)據(jù)狀態(tài)表將其轉(zhuǎn)發(fā)給歸檔節(jié)點；(2)歸檔節(jié)點根據(jù)接收到的數(shù)據(jù)分塊，更新每個數(shù)據(jù)節(jié)點的數(shù)據(jù)分塊個數(shù)；判斷歸檔節(jié)點是否接收到當(dāng)前條帶的全部數(shù)據(jù)分塊，若是，則將當(dāng)前條帶進(jìn)行歸檔；若否，則從生產(chǎn)集群讀取冷數(shù)據(jù)塊，將條帶湊齊之后進(jìn)行歸檔；本發(fā)明提供的這種糾刪碼歸檔方法，由于采用了用戶訪問緩存的數(shù)據(jù)分塊，相比于普通糾刪碼歸檔方法，可大幅度減少歸檔節(jié)點從生產(chǎn)集群中讀取數(shù)據(jù)分塊的次數(shù)，可以在不影響用戶訪問的情況下進(jìn)行糾刪碼歸檔操作，提高歸檔效率。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機存儲技術(shù)領(lǐng)域，更具體地，涉及一種集群下基于數(shù)據(jù)緩存的糾刪碼歸檔方法。

背景技術(shù)

在如今的信息時代數(shù)據(jù)量急速增長，大規(guī)模存儲集群得到了越來越廣泛的應(yīng)用。根據(jù)數(shù)據(jù)訪問頻度的高低，可以依次將存儲集群中的數(shù)據(jù)分為熱數(shù)據(jù)(Hot Data)、溫數(shù)據(jù)(Warm Data)和冷數(shù)據(jù)(Cold Data)。隨著系統(tǒng)運行時間的推移，熱數(shù)據(jù)的訪問頻度會下降，變成溫數(shù)據(jù)，最后成為冷數(shù)據(jù)，熱數(shù)據(jù)通常按三副本或多副本方式存放在生產(chǎn)集群(Production Cluster)。一種提高生產(chǎn)集群系統(tǒng)利用率的方法是將訪問頻度低的副本數(shù)據(jù)遷移到糾刪碼歸檔集群(Archival Cluster)，該歸檔集群采用RS碼來組織存放其中的數(shù)據(jù)；糾刪碼歸檔(Erasure-coded Archival)是指將數(shù)據(jù)從副本存儲遷移到糾刪碼存儲的操作。

現(xiàn)有糾刪碼歸檔和用戶訪問副本集群是兩個相互獨立的過程；現(xiàn)有糾刪碼歸檔包括(1)獲取需要歸檔數(shù)據(jù)在生產(chǎn)集群中的數(shù)據(jù)位圖；(2)從生產(chǎn)集群中讀取副本數(shù)據(jù)；(3)將讀取副本數(shù)據(jù)進(jìn)行糾刪碼編碼，生成校驗分塊；(4)將一份副本數(shù)據(jù)和相應(yīng)校驗分塊寫入糾刪碼歸檔集群；(5)對生產(chǎn)集群上剩余冷數(shù)據(jù)進(jìn)行回收，刪除生產(chǎn)集群中所有參與糾刪碼歸檔的數(shù)據(jù)副本。用戶訪問副本集群包括(1)獲取所需數(shù)據(jù)分塊在生產(chǎn)集群中的元數(shù)據(jù)信息；(2)對數(shù)據(jù)分塊所在節(jié)點發(fā)出讀請求；(3)該節(jié)點讀取相應(yīng)數(shù)據(jù)分塊到節(jié)點緩沖區(qū)；(4)數(shù)據(jù)節(jié)點發(fā)送數(shù)據(jù)分塊，并將數(shù)據(jù)分塊轉(zhuǎn)發(fā)到客戶端。

對于該糾刪碼歸檔，若數(shù)據(jù)歸檔的請求過量，則采用離線歸檔，數(shù)據(jù)訪問與歸檔二者獨立；但在當(dāng)前大數(shù)據(jù)時代，幾乎不存在專門的歸檔時間，需采用在線歸檔；對于在線歸檔，生產(chǎn)集群中的節(jié)點上始終保持有熱數(shù)據(jù)和冷數(shù)據(jù)，采用上述糾刪碼歸檔方法存在如下問題：

(1)歸檔請求直接下發(fā)給生產(chǎn)集群，此時生產(chǎn)集群也在為用戶提供訪問服務(wù)；歸檔請求帶來額外的外存訪問、內(nèi)存緩存的占用、網(wǎng)絡(luò)資源的占用，導(dǎo)致用戶請求的響應(yīng)時間大大增加；

(2)對于歸檔任務(wù)，由于生產(chǎn)集群中的節(jié)點需要同時處理用戶訪問請求與數(shù)據(jù)歸檔請求，兩者之間存在資源競爭；某個存儲集群節(jié)點用戶訪問請求頻度高的情況下，該節(jié)點的歸檔請求將遲遲得不到響應(yīng)，造成歸檔節(jié)點無法及時得到數(shù)據(jù)分塊，進(jìn)而影響整個歸檔效率。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種集群下基于數(shù)據(jù)緩存的糾刪碼歸檔方法，其目的在于提高糾刪碼歸檔效率。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種集群下基于數(shù)據(jù)緩存的糾刪碼歸檔方法，具體包括以下步驟：

(1)根據(jù)用戶訪問請求，將所需數(shù)據(jù)分塊從其所在生產(chǎn)節(jié)點讀取到節(jié)點緩沖區(qū)，并將數(shù)據(jù)分塊發(fā)送給訪問節(jié)點，同時根據(jù)歸檔數(shù)據(jù)狀態(tài)表將其轉(zhuǎn)發(fā)給歸檔節(jié)點；

(2)歸檔節(jié)點根據(jù)接收到的數(shù)據(jù)分塊，更新每個數(shù)據(jù)節(jié)點的數(shù)據(jù)分塊個數(shù)；并判斷歸檔節(jié)點是否接收到當(dāng)前條帶的全部數(shù)據(jù)分塊，若是，則將當(dāng)前條帶進(jìn)行歸檔；若否，則從生產(chǎn)集群讀取冷數(shù)據(jù)塊，將條帶湊齊之后進(jìn)行歸檔。