[發(fā)明專利]一種分布式存儲(chǔ)系統(tǒng)的糾刪碼優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201710453949.0
• 申請日: 2017-06-15
• 公開（公告）號: CN107094186B
• 公開（公告）日: 2019-10-01
• 發(fā)明（設(shè)計(jì)）人: 陳仲濤
• 申請（專利權(quán)）人: 深圳市云舒網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F11/10
• 代理公司: 深圳市鼎智專利代理事務(wù)所(普通合伙) 44411
• 代理人: 徐永雷

1.一種分布式存儲(chǔ)系統(tǒng)的糾刪碼優(yōu)化方法，其特征在于，該方法是利用糾刪碼的特點(diǎn)，減小糾刪碼條帶的大小，小的條帶更能滿足滿條帶寫，對于未滿條帶的部分，使讀取補(bǔ)齊的數(shù)據(jù)最小化；大于大IO，小條帶把請求數(shù)據(jù)切分成很多個(gè)條帶，利用內(nèi)存引用技術(shù)，進(jìn)行邏輯層的小條帶合并，保證了大IO被切分，性能不受影響；

所述方法包括分布式存儲(chǔ)系統(tǒng)，該分布式存儲(chǔ)系統(tǒng)包括：

控制主機(jī)：所述控制主機(jī)生成虛擬磁盤，作為存儲(chǔ)數(shù)據(jù)路徑的前端主機(jī)，完成數(shù)據(jù)接收、轉(zhuǎn)發(fā)功能；

存儲(chǔ)主機(jī)：所述存儲(chǔ)主機(jī)分布于存儲(chǔ)系統(tǒng)中，數(shù)據(jù)最終的存放地點(diǎn)將存儲(chǔ)資源抽象成多個(gè)存儲(chǔ)組件，每個(gè)組件由大型的稀疏文件鏈組成；

所述方法還包括(k+r，k)糾刪碼存儲(chǔ)虛擬磁盤，該(k+r，k)糾刪碼存儲(chǔ)虛擬磁盤包括k個(gè)數(shù)據(jù)組件，r個(gè)校驗(yàn)組件；

(k+r，k)糾刪碼虛擬磁盤的一個(gè)糾刪碼條帶包含k個(gè)數(shù)據(jù)塊和r個(gè)校驗(yàn)塊，數(shù)據(jù)塊的大小為n字節(jié)；前段虛擬磁盤寫入k*n個(gè)字節(jié)的數(shù)據(jù)，會(huì)被拆分成k份，分別寫入到k個(gè)數(shù)據(jù)組件中，根據(jù)糾刪碼算法，計(jì)算出r個(gè)校驗(yàn)數(shù)據(jù)塊，分別寫入到r個(gè)校驗(yàn)組件中；

糾刪碼寫入時(shí)需要計(jì)算校驗(yàn)數(shù)據(jù)，數(shù)據(jù)偏移量和數(shù)據(jù)長度必須對齊數(shù)據(jù)塊大小，如果沒有滿足該條件必須先到后端組件上讀取數(shù)據(jù)補(bǔ)齊條帶；如果數(shù)據(jù)偏移量沒有對齊，需要讀取條帶頭，如果數(shù)據(jù)長度沒有對齊，需要讀取條帶尾；

所述方法還包括糾刪碼數(shù)據(jù)拆分重組方法，該糾刪碼數(shù)據(jù)拆分重組方法是通過多個(gè)數(shù)據(jù)條帶在內(nèi)存中進(jìn)行數(shù)據(jù)拆分重組后，只需進(jìn)行一次糾刪碼運(yùn)算；

所述分布式存儲(chǔ)系統(tǒng)的糾刪碼優(yōu)化方法如下：

①：基本變量說明，設(shè)數(shù)據(jù)塊個(gè)數(shù)k為4，校驗(yàn)塊個(gè)數(shù)為2，數(shù)據(jù)大小n為1K，條帶大小s為n*k＝4K，數(shù)據(jù)偏移量為offset，數(shù)據(jù)長度為length；

②：數(shù)據(jù)偏移量和數(shù)據(jù)長度補(bǔ)齊；如果數(shù)據(jù)偏移量不能被條帶大小整除，數(shù)據(jù)塊需要向前補(bǔ)齊，如果數(shù)據(jù)偏移量+數(shù)據(jù)長度的大小不能被條帶大小整除，需要向后補(bǔ)齊數(shù)據(jù)；由于本分布式存儲(chǔ)系統(tǒng)的所有前端IO的數(shù)據(jù)偏移量和數(shù)據(jù)長度都是4K對齊的；因此，保證條帶大小為4K就能夠避免數(shù)據(jù)補(bǔ)齊；

③：當(dāng)條帶大小為4K時(shí)，前段一個(gè)大IO會(huì)被分成多個(gè)條帶；

④：為了不降低小條帶的性能，先對數(shù)據(jù)進(jìn)行拆分重組，需要寫入的數(shù)據(jù)大小為12K，分成3個(gè)條帶；對每個(gè)條帶對應(yīng)的數(shù)據(jù)塊進(jìn)行合并，合并前的數(shù)據(jù)塊編號為[1 2 3 4 5 6 7 89 10 11 12]，合并后的數(shù)據(jù)塊編號為{[1 5 9][2 6 10][3 7 11][4 8 12]}；數(shù)據(jù)重新合并后，看成條帶大小為12K，數(shù)據(jù)塊為3K的糾刪碼條帶，只需進(jìn)行一次糾刪碼運(yùn)算就可以算出整個(gè)數(shù)據(jù)塊的校驗(yàn)值；并且可以把數(shù)據(jù)合并發(fā)送給存儲(chǔ)后端。