[發(fā)明專利]一種基于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110191784.0
• 申請(qǐng)日: 2021-02-19
• 公開（公告）號(hào): CN112799872B
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 李頡;吳晨濤;過敏意;薛廣濤;張弛
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10;G06F11/14
• 代理公司: 上海思微知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31237
• 代理人: 曹廷廷

本申請(qǐng)公開了一種基于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼方法及裝置，該方法包括：獲取鍵值對(duì)存儲(chǔ)系統(tǒng)中關(guān)鍵字之間的關(guān)聯(lián)關(guān)系；根據(jù)所述關(guān)鍵字之間的關(guān)聯(lián)關(guān)系，從所述鍵值對(duì)存儲(chǔ)系統(tǒng)中獲取對(duì)應(yīng)的具有強(qiáng)關(guān)聯(lián)性或強(qiáng)時(shí)間局限性的至少兩個(gè)目標(biāo)數(shù)據(jù)；將至少兩個(gè)所述目標(biāo)數(shù)據(jù)分到同一編碼組中進(jìn)行編碼，得到對(duì)應(yīng)的數(shù)據(jù)塊和校驗(yàn)塊；采用負(fù)載均衡將得到的所述數(shù)據(jù)塊和所述校驗(yàn)塊寫入對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。通過實(shí)施本申請(qǐng)，能將傳統(tǒng)糾刪碼技術(shù)與新型鍵值對(duì)存儲(chǔ)系統(tǒng)進(jìn)行結(jié)合設(shè)計(jì)，同時(shí)結(jié)合考慮鍵值對(duì)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)間關(guān)系，以減少數(shù)據(jù)訪問的次數(shù)和時(shí)間，提升數(shù)據(jù)恢復(fù)效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及云存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種基于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼方法及裝置。

背景技術(shù)

隨著新興存儲(chǔ)技術(shù)與硬件的出現(xiàn)，以及鍵值對(duì)(key-value)存儲(chǔ)系統(tǒng)的底層設(shè)計(jì)對(duì)于應(yīng)用程序的性能提升，越來(lái)越多的服務(wù)器集群開始采用鍵值對(duì)存儲(chǔ)系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)。為保障數(shù)據(jù)的可靠性和可用性，通常使用糾刪碼技術(shù)來(lái)存儲(chǔ)數(shù)據(jù)。

然而，傳統(tǒng)的糾刪碼技術(shù)主要是針對(duì)傳統(tǒng)的定長(zhǎng)塊存儲(chǔ)設(shè)備，面對(duì)新型的鍵值對(duì)存儲(chǔ)系統(tǒng)的非定長(zhǎng)塊存儲(chǔ)背景時(shí)，無(wú)法很好地與鍵值對(duì)存儲(chǔ)系統(tǒng)進(jìn)行適配以及提供技術(shù)支持。且鍵值對(duì)存儲(chǔ)系統(tǒng)中不同塊之間總是存在關(guān)聯(lián)關(guān)系的，這在傳統(tǒng)糾刪碼技術(shù)中很難體現(xiàn)并加以利用。

因此，亟需提出一種適用于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼方案。

發(fā)明內(nèi)容

為克服上述現(xiàn)有技術(shù)存在的不足，本申請(qǐng)之目的在于提供一種基于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼方法及裝置，將傳統(tǒng)糾刪碼技術(shù)與新型鍵值對(duì)存儲(chǔ)系統(tǒng)進(jìn)行結(jié)合設(shè)計(jì)，考慮了鍵值對(duì)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)間關(guān)系，能減少數(shù)據(jù)訪問的次數(shù)和時(shí)間，提升數(shù)據(jù)恢復(fù)效率。

為達(dá)上述及其它目的，本申請(qǐng)?zhí)岢鲆环N基于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼方法，包括如下步驟：

獲取鍵值對(duì)存儲(chǔ)系統(tǒng)中關(guān)鍵字之間的關(guān)聯(lián)關(guān)系，所述關(guān)聯(lián)關(guān)系用于指示所述關(guān)鍵字對(duì)應(yīng)的數(shù)據(jù)之間具有強(qiáng)關(guān)聯(lián)性或強(qiáng)時(shí)間局部性，所述鍵值對(duì)存儲(chǔ)系統(tǒng)采用鍵值對(duì)的形式來(lái)存儲(chǔ)數(shù)據(jù)；

根據(jù)所述關(guān)鍵字之間的關(guān)聯(lián)關(guān)系，從所述鍵值對(duì)存儲(chǔ)系統(tǒng)中獲取對(duì)應(yīng)的具有強(qiáng)關(guān)聯(lián)性或強(qiáng)時(shí)間局限性的至少兩個(gè)目標(biāo)數(shù)據(jù)；

將至少兩個(gè)所述目標(biāo)數(shù)據(jù)分到同一編碼組中進(jìn)行編碼，得到對(duì)應(yīng)的數(shù)據(jù)塊和校驗(yàn)塊；

采用負(fù)載均衡將得到的所述數(shù)據(jù)塊和所述校驗(yàn)塊寫入對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。

可選的，所述關(guān)聯(lián)關(guān)系包括以下中的至少一種：父子包含關(guān)系、具有強(qiáng)訪問關(guān)聯(lián)性的關(guān)系或具有強(qiáng)訪問先后順序的關(guān)系。

可選的，所述數(shù)據(jù)之間具有強(qiáng)時(shí)間局限性是通過分析數(shù)據(jù)訪問特征得到的，所述數(shù)據(jù)之間具有強(qiáng)關(guān)聯(lián)性是通過分析數(shù)據(jù)的屬性信息得到的。

可選的，所述鍵值對(duì)存儲(chǔ)系統(tǒng)中存儲(chǔ)有關(guān)鍵字、關(guān)鍵字對(duì)應(yīng)的值、關(guān)鍵字與值之間的對(duì)應(yīng)關(guān)系以及關(guān)鍵字之間的關(guān)聯(lián)關(guān)系。

可選的，所述數(shù)據(jù)塊中存儲(chǔ)有至少兩個(gè)所述目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，所述方法還包括：

接收數(shù)據(jù)恢復(fù)請(qǐng)求，所述數(shù)據(jù)恢復(fù)請(qǐng)求用于請(qǐng)求讀取目標(biāo)節(jié)點(diǎn)中的數(shù)據(jù)塊或校驗(yàn)塊，以基于所述數(shù)據(jù)塊或校驗(yàn)塊實(shí)現(xiàn)丟失數(shù)據(jù)的恢復(fù)，所述丟失數(shù)據(jù)為任一個(gè)所述目標(biāo)數(shù)據(jù)中的部分?jǐn)?shù)據(jù)；

響應(yīng)所述數(shù)據(jù)恢復(fù)請(qǐng)求，對(duì)讀取的所述目標(biāo)節(jié)點(diǎn)中的數(shù)據(jù)塊或校驗(yàn)塊進(jìn)行恢復(fù)計(jì)算，得到所述丟失數(shù)據(jù)，同時(shí)根據(jù)所述關(guān)聯(lián)數(shù)據(jù)為與任一個(gè)所述目標(biāo)數(shù)據(jù)具有強(qiáng)關(guān)聯(lián)性或強(qiáng)時(shí)間局限性的下一目標(biāo)數(shù)據(jù)的訪問做準(zhǔn)備。

為達(dá)上述及其它目的，本申請(qǐng)還提供了一種基于鍵值對(duì)存儲(chǔ)系統(tǒng)的糾刪碼編碼裝置，包括：

獲取單元，用于獲取鍵值對(duì)存儲(chǔ)系統(tǒng)中關(guān)鍵字之間的關(guān)聯(lián)關(guān)系，所述關(guān)聯(lián)關(guān)系用于指示所述關(guān)鍵字對(duì)應(yīng)的數(shù)據(jù)之間具有強(qiáng)關(guān)聯(lián)性或強(qiáng)時(shí)間局部性，所述鍵值對(duì)存儲(chǔ)系統(tǒng)采用鍵值對(duì)的形式來(lái)存儲(chǔ)數(shù)據(jù)；