[發明專利]一種集群中工作節點的管理方法、系統及相關裝置

有效

• 申請號: 202011603946.9
• 申請日: 2020-12-29
• 公開（公告）號: CN112751926B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 吳振偉;常洪耀
• 申請（專利權）人: 北京浪潮數據技術有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/10;H04L43/10;G06F16/182;H04L67/141
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

本申請提供一種集群中工作節點的管理方法，包括：獲取文件系統的工作節點；根據預設分組規則對所述工作節點進行分組；在每個分組內選取主工作節點，所述主工作節點用于接收分組內其余所有工作節點的心跳信息；控制所述主工作節點將心跳數據上傳至管理節點，以便所述管理節點根據所述心跳數據管理所有工作節點。本申請可以降低與管理節點連接的工作節點數量，從而減少管理節點需要管控的工作節點數量，降低管理節點數據處理壓力，從而提高HDFS的啟動速度。本申請還提供一種集群中工作節點的管理系統、計算機可讀存儲介質和電子設備，具有上述有益效果。

技術領域

本申請涉及文件存儲領域，特別涉及一種集群中工作節點的管理方法、系統及相關裝置。

背景技術

隨著業務的快速增長，集群的節點數也在增加，對單個大規模Hadoop(一種分布式系統基礎架構)集群的需求也越來越強烈。單個大規模集群具有數據共享、計算資源共享、減輕運營負擔和成本等三個方面的優勢。但是單個大規模集群由于其規模龐大，可能包含相當于十幾個集群的數據量。文件系統中工作節點的數量必然增多，這會導致管理節點壓力也必然會很大，進而會導致大規模集群HDFS(Hadoop?Distributed?File?System，Hadoop分布式文件系統)啟動會非常的緩慢，不利于HDFS的應用。

發明內容

本申請的目的是提供一種集群中工作節點的管理方法、管理系統、計算機可讀存儲介質和電子設備，能夠提高HDFS的啟動速度。

為解決上述技術問題，本申請提供一種集群中工作節點的管理方法，具體技術方案如下：

獲取文件系統的工作節點；

根據預設分組規則對所述工作節點進行分組；

在每個分組內選取主工作節點，所述主工作節點用于接收分組內其余所有工作節點的心跳信息；

控制所述主工作節點將心跳數據上傳至管理節點，以便所述管理節點根據所述心跳數據管理所有工作節點；所述心跳數據包括各工作節點的心跳信息和主心跳信息，所述主心跳信息為所述主工作節點的心跳信息。

可選的，根據預設分組規則對所述工作節點進行分組包括：

根據所述工作節點的總量確定分組數；

根據所述分組數對所述工作節點進行劃分；其中，各所述分組之間所述工作節點的數量差小于等于1。

可選的，根據預設分組規則對所述工作節點進行分組包括：

根據所述集群的實時集群性能確定組內預算數量；

根據所述組內預算數量對所述工作節點進行分組。

可選的，在每個分組內選取主工作節點包括：

獲取分組內所有工作節點的節點IP；

對所述節點IP進行波段比較，將所述節點IP最小的工作節點作為主工作節點。

可選的，在每個分組內選取主工作節點包括：

獲取分組內所有工作節點的節點IP；

將所述節點IP的哈希值最小的工作節點作為主工作節點。

可選的，在每個分組內選取主工作節點之后，還包括：

生成包含所有主工作節點的主節點信息列表；所述主節點信息列表用于指示所述管理節點獲取各所述主工作節點的心跳數據。

可選的，若所述管理節點未接收到目標主工作節點的心跳數據，還包括：

向所述目標主工作節點所在目標分組中的所有工作節點發送校驗請求，用于校驗所述目標分組中各工作節點的在位狀態。