[發(fā)明專利]數(shù)據(jù)拖取的方法和裝置

有效

• 申請?zhí)枺?/td>: 201410510419.1
• 申請日: 2014-09-28
• 公開（公告）號: CN104202435B
• 公開（公告）日: 2017-10-31
• 發(fā)明（設計）人: 王鋒
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京智匯東方知識產(chǎn)權代理事務所(普通合伙)11391
• 代理人: 康正德,孫曉芳

1.一種數(shù)據(jù)拖取的方法，應用于分布式存儲系統(tǒng)集群，所述分布式存儲系統(tǒng)集群包括多個原始節(jié)點，且所述多個原始節(jié)點在環(huán)形存儲空間上管理數(shù)據(jù)，包括：

獲取在所述分布式存儲系統(tǒng)集群中增加新節(jié)點的觸發(fā)事件，計算所述新節(jié)點即將在所述環(huán)形存儲空間上管理數(shù)據(jù)的新節(jié)點范圍；

查詢組成所述新節(jié)點范圍的N個子范圍，其中，每個原始節(jié)點在所述環(huán)形存儲空間上管理數(shù)據(jù)的范圍被劃分為多個子范圍，且每個子范圍的數(shù)據(jù)存儲在不同的原始節(jié)點中；

從存儲有所述N個子范圍的數(shù)據(jù)的原始節(jié)點中，選擇為所述新節(jié)點提供所述N個子范圍的數(shù)據(jù)的拖取節(jié)點；

分別從選擇的各個所述拖取節(jié)點拖取對應的所述N個子范圍中各個子范圍的數(shù)據(jù)，并將拖取的所述N個子范圍的數(shù)據(jù)合成所述新節(jié)點范圍的數(shù)據(jù)；

其中，每個原始節(jié)點在所述環(huán)形存儲空間上管理數(shù)據(jù)的范圍被劃分為多個子范圍，且每個子范圍的數(shù)據(jù)存儲在不同的原始節(jié)點中，包括：

針對每個原始節(jié)點，確定該原始節(jié)點對應的多個子范圍各自的位置序號；

針對該原始節(jié)點對應的多個子范圍中的每個子范圍，從該原始節(jié)點開始按照預設方向數(shù)過該子范圍的位置序號對應的個數(shù)節(jié)點作為基準節(jié)點，并以該基準節(jié)點為基準按照所述預設方向順序選擇連續(xù)的兩個節(jié)點作為存儲的該子范圍的數(shù)據(jù)副本的存儲節(jié)點，并進行存儲操作，其中，所述預設方向包括順時針方向或逆時針方向，從而將每個原始節(jié)點各自對應的多個子范圍的數(shù)據(jù)副本分別存儲至除自身以外的其他原始節(jié)點。

2.根據(jù)權利要求1所述的方法，其中，分別從選擇的各個所述拖取節(jié)點拖取對應的所述N個子范圍中各個子范圍的數(shù)據(jù)，包括：

在所述新節(jié)點與選擇的各個所述拖取節(jié)點之間建立長連接；

分別向各個所述拖取節(jié)點發(fā)送拖取對應的所述N個子范圍中各個子范圍的數(shù)據(jù)的拖取請求，其中，所述拖取請求中攜帶有對應的所述N個子范圍中各個子范圍；

接收各個所述拖取節(jié)點返回的、對應所述N個子范圍中各個子范圍的數(shù)據(jù)。

3.根據(jù)權利要求1或2所述的方法，其中，分別從選擇的各個所述拖取節(jié)點拖取對應的所述N個子范圍中各個子范圍的數(shù)據(jù)之后，還包括：

分別判斷從選擇的各個所述拖取節(jié)點拖取的、對應所述N個子范圍中各個子范圍的數(shù)據(jù)是否存在錯誤；

若是，重新從該拖取節(jié)點拖取對應的子范圍的數(shù)據(jù)；

若否，記錄該子范圍的標識，以表明已從該拖取節(jié)點拖取該標識的子范圍的數(shù)據(jù)。

4.根據(jù)權利要求1或2所述的方法，其中，分別從選擇的各個所述拖取節(jié)點拖取對應的所述N個子范圍中各個子范圍的數(shù)據(jù)，包括：

從選擇的各個所述拖取節(jié)點并發(fā)地拖取對應的所述N個子范圍中各個子范圍的數(shù)據(jù)。

5.根據(jù)權利要求1或2所述的方法，其中，所述觸發(fā)事件包括：

在所述分布式存儲系統(tǒng)集群中增加新節(jié)點以對所述分布式存儲系統(tǒng)集群進行擴容；或者

在所述分布式存儲系統(tǒng)集群中增加新節(jié)點以頂替所述分布式存儲系統(tǒng)集群的原始節(jié)點中的故障節(jié)點。

6.根據(jù)權利要求1或2所述的方法，其中，計算所述新節(jié)點即將在所述環(huán)形存儲空間上管理數(shù)據(jù)的新節(jié)點范圍，包括：

對所述新節(jié)點分配令牌token；

根據(jù)所述token計算所述新節(jié)點即將在所述環(huán)形存儲空間上管理數(shù)據(jù)的新節(jié)點范圍。

7.根據(jù)權利要求1或2所述的方法，其中，所述分布式存儲系統(tǒng)為Cassandra系統(tǒng)。