[發(fā)明專利]數(shù)據(jù)關(guān)聯(lián)性感知的糾刪碼內(nèi)存替換方法、設(shè)備及內(nèi)存系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010196333.1
• 申請(qǐng)日: 2020-03-19
• 公開(kāi)（公告）號(hào): CN111444036B
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 黃建忠;曹強(qiáng);廖寶忠;王程錦
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 李智

本發(fā)明公開(kāi)了一種數(shù)據(jù)關(guān)聯(lián)性感知的糾刪碼內(nèi)存替換方法、設(shè)備及內(nèi)存系統(tǒng)，屬于計(jì)算機(jī)存儲(chǔ)領(lǐng)域，包括：(1)按照讀請(qǐng)求的順序?qū)?shù)據(jù)分塊加載進(jìn)內(nèi)存，并以副本方式存放；(2)若已執(zhí)行的讀請(qǐng)求數(shù)量number達(dá)到閾值K2，則進(jìn)行垃圾回收，之后轉(zhuǎn)入步驟(4)；否則，轉(zhuǎn)入步驟(3)；(3)若number達(dá)到閾值K1，則進(jìn)行糾刪碼歸檔，使相關(guān)聯(lián)的數(shù)據(jù)分塊位于同一個(gè)條帶中，之后轉(zhuǎn)入步驟(4)；否則，直接轉(zhuǎn)入步驟(4)；(4)若用戶請(qǐng)求已經(jīng)執(zhí)行完畢，則操作結(jié)束；否則，獲取下一條未執(zhí)行的讀請(qǐng)求作為當(dāng)前讀請(qǐng)求，并轉(zhuǎn)入步驟(1)。本發(fā)明通過(guò)增大同一條帶中的數(shù)據(jù)分塊被同時(shí)淘汰的概率，能夠減少歸檔后由于替換而造成的更新開(kāi)銷，降低用戶訪問(wèn)延遲。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)存儲(chǔ)領(lǐng)域，更具體地，涉及一種數(shù)據(jù)關(guān)聯(lián)性感知的糾刪碼內(nèi)存替換方法、設(shè)備及內(nèi)存系統(tǒng)。

背景技術(shù)

為了加快數(shù)據(jù)讀取速度，降低用戶訪問(wèn)延遲，越來(lái)越多的數(shù)據(jù)被存放到內(nèi)存中。例如，科學(xué)計(jì)算為獲取低延遲訪問(wèn)將產(chǎn)生的中間結(jié)果集放在內(nèi)存中。而內(nèi)存具有數(shù)據(jù)易失性的特點(diǎn)，在斷電、系統(tǒng)崩潰等臨時(shí)故障出現(xiàn)時(shí)內(nèi)存中的數(shù)據(jù)會(huì)丟失，所以需要采用副本或糾刪碼來(lái)進(jìn)行容錯(cuò)。副本容錯(cuò)方式簡(jiǎn)單高效，能夠提高訪問(wèn)并行度，但空間利用率低，而糾刪碼在保證和副本同等容錯(cuò)前提下，其空間利用率高，但訪問(wèn)并行度低。為了保證集群內(nèi)存的高容錯(cuò)性和高存儲(chǔ)效率，對(duì)于內(nèi)存中不同訪問(wèn)熱度的數(shù)據(jù)(即：熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù))需要使用不同的冗余方式進(jìn)行存儲(chǔ)，通常地，熱數(shù)據(jù)采用副本機(jī)制，保證高訪問(wèn)性能；溫?cái)?shù)據(jù)采用糾刪碼機(jī)制存儲(chǔ)，保證高存儲(chǔ)效率；冷數(shù)據(jù)則持久化至磁盤，節(jié)省內(nèi)存空間。

由于內(nèi)存空間有限，為了提高內(nèi)存利用率，當(dāng)可用內(nèi)存空間不足時(shí)，需要使用淘汰策略(如：LRU)將部分?jǐn)?shù)據(jù)移出內(nèi)存寫回磁盤來(lái)回收內(nèi)存空間，由于當(dāng)前內(nèi)存中對(duì)熱數(shù)據(jù)采用副本存儲(chǔ)，對(duì)冷數(shù)據(jù)塊采用糾刪碼存儲(chǔ)，所以淘汰的塊可能由副本存儲(chǔ)或在糾刪碼條帶中存儲(chǔ)，若數(shù)據(jù)塊由副本存儲(chǔ)，則可以直接將其寫回磁盤并刪除其在內(nèi)存中的所有副本，若數(shù)據(jù)塊位于糾刪碼條帶中，則需要用內(nèi)存中其他條帶中的無(wú)需淘汰的數(shù)據(jù)塊替換掉當(dāng)前需淘汰數(shù)據(jù)塊以保證條帶的容錯(cuò)性。而糾刪碼條帶中的替換相當(dāng)于一個(gè)更新操作，不僅需要用新塊替換需淘汰的塊，還需要更新條帶中的校驗(yàn)塊，所以替換開(kāi)銷較大。

數(shù)據(jù)由副本到糾刪碼的轉(zhuǎn)換過(guò)程稱為糾刪碼歸檔(Erasure-coded Archival)?，F(xiàn)有的糾刪碼歸檔方案都只關(guān)注于減少歸檔時(shí)的傳輸流量，沒(méi)有考慮歸檔后由于內(nèi)存空間不足而淘汰冷數(shù)據(jù)塊造成的更新開(kāi)銷；現(xiàn)有的糾刪碼內(nèi)存系統(tǒng)中的更新方案都針對(duì)于優(yōu)化寫請(qǐng)求引起的更新并不適用于優(yōu)化替換引起的更新。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的缺陷和改進(jìn)需求，本發(fā)明提供了一種數(shù)據(jù)關(guān)聯(lián)性感知的糾刪碼內(nèi)存替換法方法、設(shè)備及內(nèi)存系統(tǒng)，其目的在于，通過(guò)增大同一條帶中的數(shù)據(jù)分塊被同時(shí)淘汰的概率，減少歸檔后由于替換而造成的更新開(kāi)銷，降低用戶訪問(wèn)延遲。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的第一方面，提供了一種數(shù)據(jù)關(guān)聯(lián)性感知的糾刪碼內(nèi)存替換方法，包括：

(1)按照當(dāng)前讀請(qǐng)求的順序?qū)?shù)據(jù)分塊加載進(jìn)內(nèi)存，并以副本方式存放；

(2)判斷已執(zhí)行的讀請(qǐng)求數(shù)量是否達(dá)到垃圾回收閾值K2，若是，則進(jìn)行垃圾回收，以淘汰內(nèi)存中訪問(wèn)頻度較低的數(shù)據(jù)分塊，并在垃圾回收結(jié)束后，轉(zhuǎn)入步驟(4)；否則，轉(zhuǎn)入步驟(3)；

(3)判斷已執(zhí)行的讀請(qǐng)求數(shù)量是否達(dá)到歸檔閾值K1，若是，則根據(jù)數(shù)據(jù)分塊之間的關(guān)聯(lián)性進(jìn)行糾刪碼歸檔，以使得相關(guān)聯(lián)的數(shù)據(jù)分塊位于同一個(gè)條帶中，并在糾刪碼歸檔結(jié)束后，轉(zhuǎn)入步驟(4)；否則，直接轉(zhuǎn)入步驟(4)；

(4)判斷用戶請(qǐng)求是否已經(jīng)執(zhí)行完畢，若是，則操作結(jié)束；否則，獲取下一條未執(zhí)行的讀請(qǐng)求作為當(dāng)前讀請(qǐng)求，并轉(zhuǎn)入步驟(1)；

其中，0K1K2。