[發(fā)明專利]一種塊級數(shù)據(jù)去重存儲系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811259880.9
• 申請日: 2018-10-26
• 公開（公告）號: CN109445702B
• 公開（公告）日: 2019-12-06
• 發(fā)明（設(shè)計(jì)）人: 楊天明;張敬;孫偉;黃平;楊奕
• 申請（專利權(quán)）人: 黃淮學(xué)院
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14;G06F16/13
• 代理公司: 41126 鄭州立格知識產(chǎn)權(quán)代理有限公司
• 代理人: 崔衛(wèi)琴<國際申請>=<國際公布>=<進(jìn)入

1.一種塊級數(shù)據(jù)去重存儲系統(tǒng)，其特征在于：所述塊級數(shù)據(jù)去重存儲系統(tǒng)包括數(shù)據(jù)讀寫模塊、指紋查詢模塊和容器讀寫模塊三個模塊，還設(shè)置有指紋路由表、容器路由表、輸入緩沖區(qū)、文件緩沖區(qū)、指紋緩沖區(qū)和數(shù)據(jù)恢復(fù)緩沖區(qū)；所述數(shù)據(jù)讀寫模塊包括數(shù)據(jù)備份方法和數(shù)據(jù)恢復(fù)方法；所述指紋查詢模塊包括指紋查詢命令、指紋定位命令、數(shù)據(jù)塊子索引更新命令和分布式指紋查詢命令；所述容器讀寫模塊包括寫容器命令、讀容器命令、讀容器指紋命令和數(shù)據(jù)遷移命令；

所述塊級數(shù)據(jù)去重存儲系統(tǒng)用來設(shè)置在存儲節(jié)點(diǎn)上，接收客戶機(jī)發(fā)送過來的數(shù)據(jù)，每一個存儲節(jié)點(diǎn)都可以接收客戶機(jī)發(fā)送過來的數(shù)據(jù)并將數(shù)據(jù)備份到磁盤的容器存儲池中，或從容器存儲池中恢復(fù)指定的數(shù)據(jù)；所述容器存儲池設(shè)置在磁盤設(shè)備上，磁盤設(shè)備上還安裝有數(shù)據(jù)塊子索引和容器索引；

所述塊級數(shù)據(jù)去重存儲系統(tǒng)采用分塊壓縮技術(shù)，消除存儲節(jié)點(diǎn)集群中的重復(fù)數(shù)據(jù)塊，并把內(nèi)容相似的新數(shù)據(jù)塊聚類到相同的存儲節(jié)點(diǎn)；所述新數(shù)據(jù)塊是指和存儲節(jié)點(diǎn)集群中已有的所有數(shù)據(jù)塊都不相同的數(shù)據(jù)塊；

所述分布式指紋查詢命令依次包括如下步驟：

71）、接收數(shù)據(jù)段指紋：接收本存儲節(jié)點(diǎn)的數(shù)據(jù)讀寫模塊發(fā)送過來的數(shù)據(jù)段指紋，記為指紋集，設(shè)置一個讀指針P指向指紋集中的第一個指紋；

72）、緩沖區(qū)查詢：讀取P所指向的指紋，記為fp，在指紋緩沖區(qū)中查詢fp，如果查到，則進(jìn)入步驟77）；否則，進(jìn)入步驟73）；所述指紋緩沖區(qū)為通識的內(nèi)存哈希表，所述內(nèi)存哈希表使用哈希函數(shù)將指紋映射到相應(yīng)的桶中，所述桶里存放指紋；所述指紋緩沖區(qū)滿時，采用通識的最近最少使用置換算法刪除一些指紋；

73）、指紋查詢：查詢指紋路由表，根據(jù)指紋fp的前綴找到指紋路由表中對應(yīng)的路由項(xiàng)，按照該路由項(xiàng)中標(biāo)明的存儲節(jié)點(diǎn)地址將指紋fp發(fā)送給相應(yīng)的存儲節(jié)點(diǎn)的指紋查詢模塊，并向該存儲節(jié)點(diǎn)的指紋查詢模塊發(fā)送指紋查詢命令；

74）、查詢結(jié)果判斷：接收指紋fp的查詢結(jié)果，如果fp是新指紋，則將fp插入指紋緩沖區(qū)中，轉(zhuǎn)第 78）步，否則，fp是舊指紋，且得到指紋fp所在容器的容器標(biāo)識符，記為cid，轉(zhuǎn)下一步；

75）、讀容器指紋：查詢?nèi)萜髀酚杀恚鶕?jù)cid的前綴找到容器路由表中對應(yīng)的路由項(xiàng)，按照該路由項(xiàng)中標(biāo)明的存儲節(jié)點(diǎn)地址將cid發(fā)送給相應(yīng)的存儲節(jié)點(diǎn)的容器讀寫模塊，并向該存儲節(jié)點(diǎn)的容器讀寫模塊發(fā)送讀容器指紋命令；

76）、緩沖區(qū)更新：接收到讀容器指紋命令返回的指紋后，將這些指紋插入指紋緩沖區(qū)中；

77）、刪除舊指紋：將指紋fp從指紋集中刪除；

78）、結(jié)束判斷：讀指針P向前移動一步，指向指紋集中的下一個指紋，如果P非空，則轉(zhuǎn)第72）步，否則，轉(zhuǎn)下一步；

79）、結(jié)束：如果指紋集中尚余指紋，則將指紋集中的剩余指紋返回給本存儲節(jié)點(diǎn)的數(shù)據(jù)讀寫模塊后退出，否則，將0返回給本存儲節(jié)點(diǎn)的數(shù)據(jù)讀寫模塊后退出。