[發明專利]計算節點的數據遍歷方法、裝置及計算節點

在審

• 申請號: 201810340710.7
• 申請日: 2018-04-16
• 公開（公告）號: CN110399394A
• 公開（公告）日: 2019-11-01
• 發明（設計）人: 李玥;何小鋒;劉海鋒
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/22;G06F16/27
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

1.一種計算節點的數據遍歷方法，所述數據存儲在多個數據分片中，所述方法包括：

獲取多個分片信息，每一個分片信息對應一個數據分片；以及

與至少一個其他計算節點并行地基于所述多個分片信息執行讀取-遍歷操作，以遍歷讀取所述多個分片信息對應的數據分片存儲的數據，

其中，不同的計算節點遍歷讀取不同的數據分片存儲的數據。

2.根據權利要求1所述的方法，還包括：

將所述多個分片信息寫入預設的存儲空間；

所述讀取-遍歷操作包括：

自所述預設的存儲空間讀取多個分片信息中的一個分片信息；以及

基于讀取的所述分片信息，遍歷讀取所述分片信息對應的數據分片存儲的數據。

3.根據權利要求2所述的方法，其中，多個所述數據分片存儲在存儲集群的多個存儲節點上，每個存儲節點存儲有一個或多個所述數據分片，所述方法還包括：

獲取多個所述數據分片的存儲節點信息；

將所述多個分片信息寫入預設的存儲空間包括：

基于預設的分配規則及所述存儲節點信息，將所述多個分片信息均勻排列，以使具有相同存儲節點信息的不同數據分片的分片信息間隔排列；以及

將均勻排列的所述多個分片信息順序寫入預設的存儲空間；

自所述預設的存儲空間讀取多個分片信息中的一個分片信息包括：

自均勻排列的所述多個分片信息中順序讀取一個分片信息。

4.根據權利要求2所述的方法，其中，所述讀取-遍歷操作還包括：

在自所述預設的存儲空間讀取了多個分片信息中的一個分片信息的情況下，將讀取的所述分片信息由第一狀態置為第二狀態；以及

在遍歷讀取完所述分片信息對應的數據分片存儲的數據的情況下，將所述分片信息由第二狀態置為第三狀態；

其中，所述分片信息的第一狀態表示所述分片信息能夠被所述計算節點或至少一個其他計算節點讀取；所述分片信息的第二狀態表示所述分片信息已被讀取，不能夠再被讀取；所述分片信息的第三狀態表示所述分片信息對應的數據分片存儲的數據已被遍歷讀取完，該分片信息不能夠再被讀取。

5.根據權利要求4所述的方法，還包括：

判斷自所述預設的存儲空間讀取了多個分片信息中的一個分片信息的其他計算節點是否為故障節點；以及

在所述其他計算節點為故障節點的情況下，將該故障節點讀取的所述分片信息由第二狀態置為第一狀態，以供所述計算節點或除該故障節點外的至少一個其他計算節點讀取。

6.根據權利要求4所述的方法，還包括：

判斷所述多個分片信息是否均處于第三狀態；

在存在不處于第三狀態的分片信息的情況下，間隔預設時間后返回重新判斷；

在所述多個分片信息均處于第三狀態的情況下，完成所述數據的遍歷。

7.根據權利要求1所述的方法，其中：

所述計算節點由所述計算節點及至少一個其他計算節點采用預設的選舉規則選舉得到；并且/或者

在所述多個分片信息的數量大于所述計算節點和至少一個其他計算節點的節點總數的情況下，由所述計算節點和/或至少一個其他計算節點循環執行所述讀取-遍歷操作，以使所述多個分片信息對應的數據分片存儲的數據均被遍歷讀取。

8.一種計算節點的數據遍歷方法，所述數據存儲在多個數據分片中，所述方法包括：

與至少一個其他計算節點并行地基于多個分片信息執行讀取-遍歷操作，以遍歷讀取所述多個分片信息對應的數據分片存儲的數據，

其中，所述多個分片信息由至少一個其他計算節點中的一個計算節點預先獲取，每一個分片信息對應一個數據分片，不同的計算節點遍歷讀取不同的數據分片存儲的數據。