[發明專利]一種資源管理方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202010745334.7
• 申請日: 2020-07-29
• 公開（公告）號: CN111880934A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 高艷濤
• 申請（專利權）人: 北京浪潮數據技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 徐麗

本發明公開了一種資源管理方法、裝置、設備及可讀存儲介質，該方法包括：監控容器化YARN對應的資源管理集群；資源管理集群包括主節點和備節點，備節點從主節點中的狀態存儲區同步任務信息；主節點對應的pod失效后，從備節點中選定主節點；利用主節點處理資源管理任務。可見，在本方法中，在主節點對應的pod失效后，無需等待Resource Manager重建，而是直接從資源管理集群中重新選定主節點的方式實現任務接管，能夠有效保障容器化YARN的高可靠性、持續性，即本方法實現了容器化的YARN AH。

技術領域

本發明涉及計算機技術領域，特別是涉及一種資源管理方法、裝置、設備及可讀存儲介質。

背景技術

YARN是Hadoop集群的資源管理系統。通常YARN包括一個全局的資源管理器(Resource Manager)和每個應用程序特有的應用程序管理器(Application Master)。其中，Resource Manager負責整個系統的資源管理和分配，而Application Master負責單個應用程序的管理。

Docker提供一種輕量級的虛擬化技術，讓開發者可以將應用程序、依賴的運行庫文件打包并移植到一個新的容器中，Kubernetes簡化了大規模部署的容器管理問題。Hadoop是一個可靠的、可擴展的、用于分布式計算的分布式系統基礎架構，將Hadoop等計算、存儲平臺遷移部署到Kubernetes上，構建容器云平臺是業界的發展趨勢。

YARN是Hadoop核心組件之一，當前業界在Kubernetes平臺上容器化YARN時，依賴Kubernetes的Pod重建策略保證YARN Resource Manager HA，這種HA解決方案在YARN集群中Resource Manager所在的Pod失敗后，需要重建新的Resource Manager Pod，然后從狀態存儲區讀取應用上下文信息，從Node Manager收集節點資源使用狀況，以再次啟用Resource Manager。雖然方案可行，但是這種HA解決方案在Resource Manager Pod重建完成前無法對外提供服務，影響了系統的整體服務性能。

綜上所述，如何有效地保障容器化YARN的高可靠性等問題，是目前本領域技術人員急需解決的技術問題。

發明內容

本發明的目的是提供一種資源管理方法、裝置、設備及可讀存儲介質，通過集群化Resource Manager，能夠保障容器化YARN的高可靠性。

為解決上述技術問題，本發明提供如下技術方案：

一種資源管理方法，包括：

監控容器化YARN對應的資源管理集群；所述資源管理集群包括主節點和備節點，所述備節點從所述主節點中的狀態存儲區同步任務信息；

所述主節點對應的pod失效后，從所述備節點中選定所述主節點；

利用所述主節點處理資源管理任務。

優選地，從所述備節點中選定所述主節點，包括：

統計各個所述備節點同步的所述任務信息對應標識信息；

利用所述標識信息，將具有最新所述任務信息的備節點確定為所述主節點。

優選地，還包括：

創建與資源管理節點對應的目標pod，并將所述目標pod作為所述備節點添加至所述資源管理集群。

優選地，所述利用所述主節點處理資源管理任務，包括：

判斷所述資源管理集群中是否存在未同步的目標任務；

如果是，則利用所述主節點重新處理所述目標任務。

優選地，利用所述主節點處理資源管理任務，包括：