[發(fā)明專利]基于部分重復碼的局部性修復編碼及節(jié)點故障修復方法有效
| 申請?zhí)枺?/td> | 201810115623.1 | 申請日: | 2018-02-06 |
| 公開(公告)號: | CN108540520B | 公開(公告)日: | 2020-09-11 |
| 發(fā)明(設計)人: | 王靜;王甜甜;段宗濤;王淑霞;張雪飛 | 申請(專利權)人: | 長安大學 |
| 主分類號: | H04L29/08 | 分類號: | H04L29/08;H04L12/24;H04L1/00 |
| 代理公司: | 西安恒泰知識產(chǎn)權代理事務所 61216 | 代理人: | 李婷;周春霞 |
| 地址: | 710064 陜西省*** | 國省代碼: | 陜西;61 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 基于 部分 重復 局部性 修復 編碼 節(jié)點 故障 方法 | ||
1.一種基于部分重復碼的局部性修復編碼方法,該方法基于FR碼的編碼結構,用于將原文件B存儲到節(jié)點中,其特征在于,包括以下步驟:
步驟1,將分布式存儲系統(tǒng)的節(jié)點進行分組,得到多個局部修復組;分布式存儲系統(tǒng)的節(jié)點總數(shù)為N;具體分組方法如下:
若分布式存儲系統(tǒng)的節(jié)點的總數(shù)N能夠被FR碼的編碼結構所需節(jié)點數(shù)n整除,即N=tn,則得到t個局部修復組,每個局部修復組內的節(jié)點數(shù)為n;
若分布式存儲系統(tǒng)的節(jié)點的總數(shù)N不能夠被FR碼的編碼結構所需節(jié)點數(shù)n整除,即N=tn+λ,則得到t個局部修復組,前t-1個局部修復組中每個局部修復組內的節(jié)點數(shù)為n,第t個局部修復組內的節(jié)點數(shù)為n+λ;
步驟2,若分布式存儲系統(tǒng)的節(jié)點的總數(shù)N能夠被FR碼的編碼結構所需節(jié)點數(shù)n整除,則將原文件B分成t個子文件,每個子文件包括j個數(shù)據(jù)塊,每個局部修復組包括一個子文件,對每個局部修復組內的子文件包括的j個數(shù)據(jù)塊采用FR碼進行編碼,得到多個編碼塊;將該多個編碼塊存儲到該局部修復組中的n個節(jié)點中;
若分布式存儲系統(tǒng)的節(jié)點的總數(shù)N不能夠被FR碼的編碼結構所需節(jié)點數(shù)n整除,則將原文件B分成t個子文件,前t-1個子文件中每個子文件包括j個數(shù)據(jù)塊,最后一個子文件包括j+ε個數(shù)據(jù)塊,1≤ε≤j-1,每個局部修復組包括一個子文件,對前t-1個局部修復組中每個局部修復組內的子文件包括的j個數(shù)據(jù)塊采用FR碼進行編碼,得到多個編碼塊,將該多個編碼塊存儲到該局部修復組中的n個節(jié)點中;對最后一個局部修復組內的子文件包括的j+ε個數(shù)據(jù)塊采用MDS碼進行編碼,得到多個編碼塊,將該多個編碼塊存儲到最后一個局部修復組內的n+λ個節(jié)點中。
2.如權利要求1所述的基于部分重復碼的局部性修復編碼方法,其特征在于,所述步驟2中的對每個局部修復組內的子文件包括的j個數(shù)據(jù)塊采用FR碼進行編碼,得到多個編碼塊;將該多個編碼塊存儲到該局部修復組中的n個節(jié)點中;具體包括以下步驟:
對j個數(shù)據(jù)塊進行RS編碼,生成i個不同的編碼塊,將生成的i個不同的編碼塊復制ρ次,得到iρ個編碼塊;當ρ=2時,按照正則圖得到的排布矩陣,或當ρ≥3時,按照Fano平面得到的排布矩陣,將復制后的iρ個編碼塊存儲在局部修復組內的n個節(jié)點中,每個節(jié)點存儲d個編碼塊,即iρ=nd。
3.如權利要求1所述的基于部分重復碼的局部性修復編碼方法,其特征在于,所述步驟2中的對前t-1個局部修復組中每個局部修復組內的子文件包括的j個數(shù)據(jù)塊采用FR碼進行編碼,得到多個編碼塊,將該多個編碼塊存儲到該局部修復組中的n個節(jié)點中;具體包括以下步驟:
對j個數(shù)據(jù)塊進行RS編碼,生成i個不同的編碼塊,將生成的i個不同的編碼塊復制ρ次,得到iρ個編碼塊;按照正則圖或Fano平面得到的排布矩陣,將復制后的iρ個編碼塊存儲在局部修復組內的n個節(jié)點中,每個節(jié)點存儲d個編碼塊,即iρ=nd;
所述步驟2中的對最后一個局部修復組內的子文件包括的j+ε個數(shù)據(jù)塊采用MDS碼進行編碼,得到多個編碼塊,將該多個編碼塊存儲到最后一個局部修復組內的n+λ個節(jié)點中,具體包括以下步驟:
對j+ε個數(shù)據(jù)塊采用MDS碼編碼方式進行編碼,生成(λ+n)d個編碼塊,將這(λ+n)d個編碼塊存儲在最后一個局部修復組內的n+λ個節(jié)點中,每個節(jié)點存儲d個編碼塊。
4.一種節(jié)點故障修復方法,其特征在于,包括以下步驟:
按照權利要求1-3中任一權利要求所述的基于部分重復碼的局部性修復編碼方法將原文件B存儲到節(jié)點中;
若單個節(jié)點發(fā)生故障,則修復方法如下:
(1)若發(fā)生故障的節(jié)點中存儲的編碼塊為采用FR碼進行編碼得到的,則通過正則圖,找到與該發(fā)生故障的節(jié)點相連的多個存活節(jié)點,或者通過Fano平面找到與該發(fā)生故障的節(jié)點中編碼塊相連的多個存活節(jié)點,并從這些存活節(jié)點直接下載發(fā)生故障的節(jié)點丟失的數(shù)據(jù),即可修復該發(fā)生故障的節(jié)點;
(2)若發(fā)生故障的節(jié)點中存儲的編碼塊為采用MDS碼進行編碼得到的,則根據(jù)MDS碼故障節(jié)點修復性質,從多個存活節(jié)點下載j+ε個不同的編碼塊,對這些編碼塊進行MDS編碼操作,即可修復該發(fā)生故障的節(jié)點;
若兩個節(jié)點同時發(fā)生故障,且兩個節(jié)點屬于同一個局部修復組,則修復方法如下:
(1)若發(fā)生故障的節(jié)點中存儲的編碼塊為采用FR碼進行編碼得到的,當復制次數(shù)ρ=2時,根據(jù)正則圖,從存活節(jié)點下載j個不同的編碼塊,對上述編碼塊進行異或操作,即可恢復故障節(jié)點;當復制次數(shù)ρ≥3時,根據(jù)Fano平面,找到與該發(fā)生故障的節(jié)點中編碼塊相連的多個存活節(jié)點,并從這些存活節(jié)點直接下載發(fā)生故障的節(jié)點丟失的數(shù)據(jù),即可修復該發(fā)生故障的節(jié)點;
(2)若發(fā)生故障的節(jié)點中存儲的編碼塊為采用MDS碼進行編碼得到的,根據(jù)MDS碼故障節(jié)點修復性質,從存活節(jié)點下載j+ε個不同編碼塊,對上述編碼塊進行MDS編碼操作,即可修復發(fā)生故障的節(jié)點。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于長安大學,未經(jīng)長安大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201810115623.1/1.html,轉載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇:一種均衡下載控制方法和裝置
- 下一篇:一種同步信息的方法、終端設備及服務器
- 加工仿真裝置以及方法
- 建立安全執(zhí)行環(huán)境之間的物理局部性
- 基于數(shù)據(jù)局部性的訪存方法
- 一種自動檢測放射影像中局部性病變的方法和系統(tǒng)
- 一種基于局部性表達函數(shù)優(yōu)化MapReduce框架的運行效率的方法和裝置
- 一種支持局部性表達函數(shù)的大數(shù)據(jù)處理方法和系統(tǒng)
- 用于超越基于非局部性的指令處理的系統(tǒng)、設備和方法
- 一種實現(xiàn)數(shù)據(jù)內容局部性讀寫優(yōu)化的存儲系統(tǒng)管理系統(tǒng)
- 碼指紋防偽方法
- 一種多核系統(tǒng)基于局部性量化的并行任務分配調度方法





