[發(fā)明專利]一種基于糾刪碼存儲的文件修改算法優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 201611061117.6
• 申請日: 2016-11-28
• 公開（公告）號: CN106598489A
• 公開（公告）日: 2017-04-26
• 發(fā)明（設(shè)計）人: 張勤;孟軍
• 申請（專利權(quán)）人: 深圳市中博睿存科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，尤其涉及糾刪碼技術(shù)領(lǐng)域。

背景技術(shù)

從RAID技術(shù)到分布式存儲系統(tǒng)，糾刪碼現(xiàn)廣泛的用于存儲系統(tǒng)中，以保證所存儲數(shù)據(jù)的安全。但當存儲的大文件在被修改時，所要修改的內(nèi)容往往會很少，但修改后帶來的寫入量卻很大，導(dǎo)致數(shù)據(jù)的修改再次存入的效率低。

發(fā)明內(nèi)容

本發(fā)明的主要目的是在于提供基于現(xiàn)有的糾刪碼存儲技術(shù)，針對其數(shù)據(jù)修改部分作出優(yōu)化，減少數(shù)據(jù)被修改后的數(shù)據(jù)寫入量，以提升數(shù)據(jù)的修改效率。

為實現(xiàn)上述目的，本發(fā)明提供的一種基于糾刪碼存儲的文件修改算法優(yōu)化方法，所述方法包括：

按糾刪碼技術(shù)存儲的數(shù)據(jù)，經(jīng)過算法計算后會按K：M的方式進行拆分，K份數(shù)據(jù)塊和M份校驗塊經(jīng)對象化處理后以對象為單位進行存儲；

當存儲的數(shù)據(jù)發(fā)生修改時，被修改部分的數(shù)據(jù)映射到對應(yīng)的數(shù)據(jù)塊上時，則可以定位出塊上的數(shù)據(jù)對應(yīng)的對象名，即數(shù)據(jù)被修改則為具體對象發(fā)生了改變；

數(shù)據(jù)對象發(fā)生改時，算法則會記錄這些改變了的對象，從而可以鎖定沒有發(fā)生改變的數(shù)據(jù)對象，并標記之間的對應(yīng)關(guān)系；

修改好的數(shù)據(jù)存入后將會寫入新的對象數(shù)據(jù)，寫入完成后算法會記錄新的數(shù)據(jù)存儲的對象名和舊數(shù)據(jù)之前的對應(yīng)關(guān)系；

根據(jù)之前得到的未修對象、新寫入的對象數(shù)據(jù)及標記的映射關(guān)系，算法會將所有對象重組成一份完整的數(shù)據(jù)；

算法將數(shù)據(jù)重組完成后，此時只是得到了完整的數(shù)據(jù)塊，還應(yīng)按糾刪編碼規(guī)則重新按K：M，生成新的校驗數(shù)據(jù)塊，即得到了修改后K份數(shù)據(jù)塊和M份校驗塊，整個數(shù)據(jù)修改過程完成。

進一步，所述數(shù)據(jù)按現(xiàn)有糾刪碼技術(shù)存儲，數(shù)據(jù)發(fā)生修改時只需要重新寫入修改部分的數(shù)據(jù)，算法會重組未改動的數(shù)據(jù)和新寫入的數(shù)據(jù)，數(shù)據(jù)重組完成后會生成新的糾刪校驗數(shù)據(jù)。

進一步，所述數(shù)據(jù)采用糾刪碼存儲時，數(shù)據(jù)按K：M將原始數(shù)據(jù)分成K份，并根據(jù)K份數(shù)據(jù)來生成M份的校驗數(shù)據(jù)后進行存儲，當K份數(shù)據(jù)中有對象被修改時，則M份校驗數(shù)據(jù)也需要重新生成。

進一步，所述使用糾刪碼算法來存儲數(shù)據(jù)，保障數(shù)據(jù)的安全性和高可用性，同時對算法的修改功能進行優(yōu)化，以提高數(shù)據(jù)的修改效率。

進一步，所述當K份數(shù)據(jù)中的部份對象被修改時，優(yōu)化后的算法只會重新寫入修改后的數(shù)據(jù)，數(shù)據(jù)寫入完成后，算法將修改的新數(shù)據(jù)和原始未修改的數(shù)據(jù)重組即為修改后的完整理數(shù)據(jù)。

進一步，所述算法將數(shù)據(jù)重組完成后，則根據(jù)新的數(shù)據(jù)按糾刪碼K：M的規(guī)則生成M份新的校驗數(shù)據(jù)。

由于整個數(shù)據(jù)在修改后，再次存儲時只重寫了修改部分的數(shù)據(jù)，其他未發(fā)生改變的數(shù)據(jù)是通過算法重組獲得，類似于將修改后的數(shù)據(jù)塊使用鏈接的方式指向修改前的索引位置即可。

本發(fā)明的優(yōu)點是：存儲的大文件在修改后帶來的寫入量小，數(shù)據(jù)修改后再次存入的效率高。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中：

圖1為本發(fā)明流程圖；

圖2為只寫入修改部分，并重組未修改的數(shù)據(jù)效果圖。

具體實施方式

下面可以參照附圖1以及文字內(nèi)容理解本發(fā)明的內(nèi)容以及本發(fā)明與現(xiàn)有技術(shù)之間的區(qū)別點。下文通過附圖以及列舉本發(fā)明的一些可選實施例的方式，對本發(fā)明的技術(shù)方案(包括優(yōu)選技術(shù)方案)做進一步的詳細描述。需要說明的是：本實施例中的任何技術(shù)特征、任何技術(shù)方案均是多種可選的技術(shù)特征或可選的技術(shù)方案中的一種或幾種，為了描述簡潔的需要本文件中無法窮舉本發(fā)明的所有可替代的技術(shù)特征以及可替代的技術(shù)方案，也不便于每個技術(shù)特征的實施方式均強調(diào)其為可選的多種實施方式之一，所以本領(lǐng)域技術(shù)人員應(yīng)該知曉：可以將本發(fā)明提供的任意技術(shù)手段進行替換或?qū)⒈景l(fā)明提供的任意兩個或更多個技術(shù)手段或技術(shù)特征互相進行組合而得到新的技術(shù)方案。本實施例內(nèi)的任何技術(shù)特征以及任何技術(shù)方案均不限制本發(fā)明的保護范圍，本發(fā)明的保護范圍應(yīng)該包括本領(lǐng)域技術(shù)人員不付出創(chuàng)造性勞動所能想到的任何替代技術(shù)方案以及本領(lǐng)域技術(shù)人員將本發(fā)明提供的任意兩個或更多個技術(shù)手段或技術(shù)特征互相進行組合而得到的新的技術(shù)方案。

本發(fā)明實施例提供了一種基于糾刪碼存儲的文件修改算法優(yōu)化方法。

下面結(jié)合圖1對本發(fā)明提供的技術(shù)方案進行更為詳細的闡述。

實施例1

本發(fā)明的技術(shù)方案是按以下方式實現(xiàn)的，一種基于糾刪碼存儲的文件修改算法優(yōu)化方法，所述方法包括：