[發(fā)明專利]一種數(shù)據(jù)存儲系統(tǒng)中的故障處理的方法、裝置、節(jié)點設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201710891010.2
• 申請日: 2017-09-27
• 公開（公告）號: CN107734008A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計）人: 許宇峰;張燁
• 申請（專利權(quán)）人: 柏科數(shù)據(jù)技術(shù)（深圳）股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 孟金喆

技術(shù)領(lǐng)域

本發(fā)明實施例涉及通信技術(shù)，尤其涉及一種數(shù)據(jù)存儲系統(tǒng)中的故障處理的方法、裝置、節(jié)點設(shè)備以及存儲介質(zhì)。

背景技術(shù)

P2P是Peer-to-Peer的簡寫，又被稱為對等技術(shù)。P2P不依賴于集中的那一個服務(wù)器，而是依賴于參與到P2P網(wǎng)絡(luò)中的所有機(jī)器。從系統(tǒng)的結(jié)構(gòu)來看，P2P系統(tǒng)是分布式的結(jié)構(gòu)，它不同于集中式的結(jié)構(gòu)或者基于服務(wù)器的結(jié)構(gòu)。因為它不依靠與某個網(wǎng)絡(luò)中的中心服務(wù)器節(jié)點來提供索引服務(wù)，網(wǎng)絡(luò)中的任何兩臺機(jī)器之間都能夠直接建立連接共享資源，并能夠發(fā)現(xiàn)P2P系統(tǒng)中的各種服務(wù)。與客戶端服務(wù)器架構(gòu)相比，P2P的關(guān)鍵優(yōu)勢是它把整個系統(tǒng)提供的服務(wù)分散到系統(tǒng)中的每個對等節(jié)點上了，如此一來整個P2P系統(tǒng)就不存在單點故障的風(fēng)險。

P2P網(wǎng)絡(luò)體系結(jié)構(gòu)包括集中目錄式結(jié)構(gòu)、純P2P網(wǎng)絡(luò)結(jié)構(gòu)、混合式網(wǎng)絡(luò)結(jié)構(gòu)等三種：(1)集中目錄式結(jié)構(gòu)；集中目錄式結(jié)構(gòu)的系統(tǒng)中存在一個中央目錄服務(wù)，該目錄服務(wù)器負(fù)責(zé)保存各個節(jié)點的索引信息，比如節(jié)點的地址、存儲的資源等元數(shù)據(jù)。(2)純P2P網(wǎng)絡(luò)結(jié)構(gòu)；純P2P網(wǎng)絡(luò)，去除了集中的中央目錄服務(wù)器，網(wǎng)絡(luò)中的每個節(jié)點都完全對等，任何一個用戶都是隨機(jī)地接入到P2P網(wǎng)絡(luò)中，而且利用端到端的連接與自己相鄰的一組鄰居節(jié)點在邏輯上組成一個覆蓋網(wǎng)絡(luò)。(3)混合式網(wǎng)絡(luò)結(jié)構(gòu)；混合式網(wǎng)絡(luò)結(jié)構(gòu)是將集中式P2P與純P2P網(wǎng)絡(luò)兩者結(jié)合的混合式網(wǎng)絡(luò)結(jié)構(gòu)。混合式網(wǎng)絡(luò)結(jié)構(gòu)系統(tǒng)中的節(jié)點都是以簇的形態(tài)存在，一個簇由一個索引節(jié)點和在它附近的多個普通節(jié)點組成，在每個簇內(nèi)，索引節(jié)點作為簇的中央目錄服務(wù)器，其他普通節(jié)點負(fù)責(zé)資源的存儲。

隨著移動互聯(lián)網(wǎng)等技術(shù)的不斷快速發(fā)展，尤其是Web2.0時代的開啟，全球眾多互聯(lián)網(wǎng)用戶生產(chǎn)的各種數(shù)據(jù)呈現(xiàn)爆炸式地增長。互聯(lián)網(wǎng)數(shù)據(jù)中心統(tǒng)計2015年全球的數(shù)據(jù)量就達(dá)到8ZB，到2020年更將達(dá)到35ZB。全球社會生產(chǎn)的海量數(shù)據(jù)對存儲產(chǎn)生了巨大的需求，為解決海量數(shù)據(jù)的高性能、低成本以及高安全可靠性的存儲需求，云存儲技術(shù)應(yīng)運而生，相比于傳統(tǒng)的存儲技術(shù)，不僅僅能夠低成本的存儲海量數(shù)據(jù)，并且能夠更簡單、高效地存儲與管理數(shù)據(jù)。云存儲非常有效地解決了傳統(tǒng)存儲技術(shù)的瓶頸。

目前主流的云存儲系統(tǒng)(含谷歌GFS、亞馬遜S3以及開源的HDFS)使用了主從式的系統(tǒng)架構(gòu)，即系統(tǒng)由一個中心的主節(jié)點和多個從節(jié)點構(gòu)成。其中最典型就是GFS，它的系統(tǒng)由一個主節(jié)點GFS主服務(wù)器和多個從節(jié)點GFS數(shù)據(jù)塊服務(wù)器。而通常GFS主服務(wù)器只有一個，一旦云存儲系統(tǒng)中的主節(jié)點GFS主服務(wù)器出現(xiàn)故障，將導(dǎo)致整個系統(tǒng)的癱瘓。即使系統(tǒng)中可能采用多機(jī)熱備份技術(shù)，但是其依然沒有從根本上解決系統(tǒng)里元數(shù)據(jù)高度集中的中心節(jié)點的單點故障隱患。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種數(shù)據(jù)存儲系統(tǒng)中的故障處理的方法、裝置、節(jié)點設(shè)備以及存儲介質(zhì)，旨在解決存儲簇出現(xiàn)故障時的數(shù)據(jù)存儲系統(tǒng)中的故障處理問題。

第一方面，一種數(shù)據(jù)存儲系統(tǒng)中的故障處理的方法，所述方法包括：

若添加的新存儲簇為N i，存儲簇N i在Chord環(huán)中的位置是在存儲簇N j-1和N j之間，根據(jù)新的存儲簇的管理節(jié)點的IP和端口號使用SHA-1算法得出所述Ni在Chord環(huán)中的位置N i；

若所述Chord環(huán)上N j-1到N i的哈希空間為S 1，N i到N j之間的哈希空間為S 2，復(fù)制Ni和Nj上的數(shù)據(jù)到Ni上；

刪除所述N j-1上映射到所述S 2內(nèi)的用戶數(shù)據(jù)及元數(shù)據(jù)；刪除所述N j中保存的所述N j-1上數(shù)據(jù)的冗余副本；刪除所述N j-1中映射在所述S 1內(nèi)的用戶數(shù)據(jù)及其元數(shù)據(jù)。

可選地，所述復(fù)制Ni和Nj上的數(shù)據(jù)到Ni上，包括：

將通過哈希函數(shù)算出映射到所述S 1內(nèi)的數(shù)據(jù)，從所述N j上復(fù)制到所述N i上；

將通過哈希函數(shù)算出映射到所述S 2內(nèi)的數(shù)據(jù)，從所述N j上復(fù)制到所述N i上；

將所述N j保存的N j-1的冗余副本，復(fù)制到所述N i上。

可選地，所述方法還包括：

若存儲簇出現(xiàn)故障，故障存儲簇編號為N j，N j-1到N j之間的哈希空間為S 3，N j到N j+1之間的哈希空間為S4，則將所述N j+1上存儲的映射到S 2的數(shù)據(jù)復(fù)制到所述N j-1；將所述N j-1上存儲的原副本數(shù)據(jù)復(fù)制到所述N j+1將所述N j+1上存儲的映射到S 1的數(shù)據(jù)復(fù)制到N j+2。

可選地，所述方法還包括：