[發明專利]一種集群中工作節點的管理方法、系統及相關裝置

有效

• 申請號: 202011603946.9
• 申請日: 2020-12-29
• 公開（公告）號: CN112751926B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 吳振偉;常洪耀
• 申請（專利權）人: 北京浪潮數據技術有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/10;H04L43/10;G06F16/182;H04L67/141
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

1.一種集群中工作節點的管理方法，其特征在于，包括：

獲取文件系統的工作節點；

根據預設分組規則對所述工作節點進行分組；

在每個分組內選取主工作節點，所述主工作節點用于接收分組內其余所有工作節點的心跳信息；

控制所述主工作節點將心跳數據上傳至管理節點，以便所述管理節點根據所述心跳數據管理所有工作節點；所述心跳數據包括各工作節點的心跳信息和主心跳信息，所述主心跳信息為所述主工作節點的心跳信息；

在每個分組內選取主工作節點包括：獲取分組內所有工作節點的節點IP；

對所述節點IP進行波段比較，將所述節點IP最小的工作節點作為主工作節點；

其中，所屬根據預設分組規則對所述工作節點進行分組包括：

根據所述工作節點的總量確定分組數；所述工作節點的總量為根據大規模集群HDFS的啟動速度與所述工作節點的數量關系確定的，當HDFS的啟動速度最大時的所述工作節點的數量；

根據所述分組數對所述工作節點進行劃分；其中，各所述分組之間所述工作節點的數量差小于等于1。

2.根據權利要求1所述的管理方法，其特征在于，根據預設分組規則對所述工作節點進行分組包括：

根據所述集群的實時集群性能確定組內預算數量；

根據所述組內預算數量對所述工作節點進行分組。

3.根據權利要求1或2所述的管理方法，其特征在于，在每個分組內選取主工作節點包括：

獲取分組內所有工作節點的節點IP；

將所述節點IP的哈希值最小的工作節點作為主工作節點。

4.根據權利要求1所述的管理方法，其特征在于，在每個分組內選取主工作節點之后，還包括：

生成包含所有主工作節點的主節點信息列表；所述主節點信息列表用于指示所述管理節點獲取各所述主工作節點的心跳數據。

5.根據權利要求4所述的管理方法，其特征在于，若所述管理節點未接收到目標主工作節點的心跳數據，還包括：

向所述目標主工作節點所在目標分組中的所有工作節點發送校驗請求，用于校驗所述目標分組中各工作節點的在位狀態。

6.一種集群中工作節點的管理系統，其特征在于，包括：

獲取模塊，用于獲取文件系統的工作節點，包括：獲取分組內所有工作節點的節點IP；對所述節點IP進行波段比較，將所述節點IP最小的工作節點作為主工作節點

分組模塊，用于根據預設分組規則對所述工作節點進行分組；

選取模塊，用于在每個分組內選取主工作節點，所述主工作節點用于接收分組內其余所有工作節點的心跳信息；

上傳模塊，用于控制所述主工作節點將心跳數據上傳至管理節點，以便所述管理節點根據所述心跳數據管理所有工作節點；所述心跳數據包括各工作節點的心跳信息和主心跳信息，所述主心跳信息為所述主工作節點的心跳信息；

所述分組模塊具體用于：根據所述工作節點的總量確定分組數；所述工作節點的總量為根據大規模集群HDFS的啟動速度與所述工作節點的數量關系確定的，當HDFS的啟動速度最大時的所述工作節點的數量；

根據所述分組數對所述工作節點進行劃分；其中，各所述分組之間所述工作節點的數量差小于等于1。

7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-5任一項所述的集群中工作節點的管理方法的步驟。

8.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器中存有計算機程序，所述處理器調用所述存儲器中的計算機程序時實現如權利要求1-5任一項所述的集群中工作節點的管理方法的步驟。