[發(fā)明專利]一種基于糾刪碼存儲(chǔ)的文件修改算法優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711324337.8
• 申請(qǐng)日: 2017-12-13
• 公開（公告）號(hào): CN109918224A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 高珍麗
• 申請(qǐng)（專利權(quán)）人: 高珍麗
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于糾刪碼存儲(chǔ)的文件修改算法優(yōu)化方法，包括按糾刪碼技術(shù)存儲(chǔ)的數(shù)據(jù)，經(jīng)過算法計(jì)算后會(huì)按K：M的方式進(jìn)行拆分，K份數(shù)據(jù)塊和M份校驗(yàn)塊經(jīng)對(duì)象化處理后以對(duì)象為單位進(jìn)行存儲(chǔ)；當(dāng)存儲(chǔ)的數(shù)據(jù)發(fā)生修改時(shí)，被修改部分的數(shù)據(jù)映射到對(duì)應(yīng)的數(shù)據(jù)塊上時(shí)，則可以定位出塊上的數(shù)據(jù)對(duì)應(yīng)的對(duì)象名，即數(shù)據(jù)被修改則為具體對(duì)象發(fā)生了改變；數(shù)據(jù)對(duì)象發(fā)生改時(shí)，算法則會(huì)記錄這些改變了的對(duì)象，從而可以鎖定沒有發(fā)生改變的數(shù)據(jù)對(duì)象，并標(biāo)記之間的對(duì)應(yīng)關(guān)系；修改好的數(shù)據(jù)存入后將會(huì)寫入新的對(duì)象數(shù)據(jù)。優(yōu)點(diǎn)是：存儲(chǔ)的大文件在修改后帶來的寫入量小，數(shù)據(jù)修改后再次存入的效率高。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及糾刪碼技術(shù)領(lǐng)域。

背景技術(shù)

從RAID技術(shù)到分布式存儲(chǔ)系統(tǒng)，糾刪碼現(xiàn)廣泛的用于存儲(chǔ)系統(tǒng)中，以保證所存儲(chǔ)數(shù)據(jù)的安全。但當(dāng)存儲(chǔ)的大文件在被修改時(shí)，所要修改的內(nèi)容往往會(huì)很少，但修改后帶來的寫入量卻很大，導(dǎo)致數(shù)據(jù)的修改再次存入的效率低。

發(fā)明內(nèi)容

本發(fā)明的主要目的是在于提供基于現(xiàn)有的糾刪碼存儲(chǔ)技術(shù)，針對(duì)其數(shù)據(jù)修改部分作出優(yōu)化，減少數(shù)據(jù)被修改后的數(shù)據(jù)寫入量，以提升數(shù)據(jù)的修改效率。

為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種基于糾刪碼存儲(chǔ)的文件修改算法優(yōu)化方法，所述方法包括：

按糾刪碼技術(shù)存儲(chǔ)的數(shù)據(jù)，經(jīng)過算法計(jì)算后會(huì)按K：M的方式進(jìn)行拆分，K份數(shù)據(jù)塊和M份校驗(yàn)塊經(jīng)對(duì)象化處理后以對(duì)象為單位進(jìn)行存儲(chǔ)；

當(dāng)存儲(chǔ)的數(shù)據(jù)發(fā)生修改時(shí)，被修改部分的數(shù)據(jù)映射到對(duì)應(yīng)的數(shù)據(jù)塊上時(shí)，則可以定位出塊上的數(shù)據(jù)對(duì)應(yīng)的對(duì)象名，即數(shù)據(jù)被修改則為具體對(duì)象發(fā)生了改變；

數(shù)據(jù)對(duì)象發(fā)生改時(shí)，算法則會(huì)記錄這些改變了的對(duì)象，從而可以鎖定沒有發(fā)生改變的數(shù)據(jù)對(duì)象，并標(biāo)記之間的對(duì)應(yīng)關(guān)系；

修改好的數(shù)據(jù)存入后將會(huì)寫入新的對(duì)象數(shù)據(jù)，寫入完成后算法會(huì)記錄新的數(shù)據(jù)存儲(chǔ)的對(duì)象名和舊數(shù)據(jù)之前的對(duì)應(yīng)關(guān)系；

根據(jù)之前得到的未修對(duì)象、新寫入的對(duì)象數(shù)據(jù)及標(biāo)記的映射關(guān)系，算法會(huì)將所有對(duì)象重組成一份完整的數(shù)據(jù)；

算法將數(shù)據(jù)重組完成后，此時(shí)只是得到了完整的數(shù)據(jù)塊，還應(yīng)按糾刪編碼規(guī)則重新按K：M，生成新的校驗(yàn)數(shù)據(jù)塊，即得到了修改后K份數(shù)據(jù)塊和M份校驗(yàn)塊，整個(gè)數(shù)據(jù)修改過程完成。

進(jìn)一步，所述數(shù)據(jù)按現(xiàn)有糾刪碼技術(shù)存儲(chǔ)，數(shù)據(jù)發(fā)生修改時(shí)只需要重新寫入修改部分的數(shù)據(jù)，算法會(huì)重組未改動(dòng)的數(shù)據(jù)和新寫入的數(shù)據(jù)，數(shù)據(jù)重組完成后會(huì)生成新的糾刪校驗(yàn)數(shù)據(jù)。

進(jìn)一步，所述數(shù)據(jù)采用糾刪碼存儲(chǔ)時(shí)，數(shù)據(jù)按K：M將原始數(shù)據(jù)分成K份，并根據(jù)K份數(shù)據(jù)來生成M份的校驗(yàn)數(shù)據(jù)后進(jìn)行存儲(chǔ)，當(dāng)K份數(shù)據(jù)中有對(duì)象被修改時(shí)，則M份校驗(yàn)數(shù)據(jù)也需要重新生成。

進(jìn)一步，所述使用糾刪碼算法來存儲(chǔ)數(shù)據(jù)，保障數(shù)據(jù)的安全性和高可用性，同時(shí)對(duì)算法的修改功能進(jìn)行優(yōu)化，以提高數(shù)據(jù)的修改效率。

進(jìn)一步，所述當(dāng)K份數(shù)據(jù)中的部份對(duì)象被修改時(shí)，優(yōu)化后的算法只會(huì)重新寫入修改后的數(shù)據(jù)，數(shù)據(jù)寫入完成后，算法將修改的新數(shù)據(jù)和原始未修改的數(shù)據(jù)重組即為修改后的完整理數(shù)據(jù)。

進(jìn)一步，所述算法將數(shù)據(jù)重組完成后，則根據(jù)新的數(shù)據(jù)按糾刪碼K：M的規(guī)則生成M份新的校驗(yàn)數(shù)據(jù)。

建議提供效果分析和數(shù)據(jù)對(duì)比表（以此表明，采用新的算法可以減小修改后文件寫入量）：

本發(fā)明的優(yōu)點(diǎn)是：存儲(chǔ)的大文件在修改后帶來的寫入量小，數(shù)據(jù)修改后再次存入的效率高。

附圖說明

此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1為本發(fā)明流程圖。