[發明專利]用于大數據平臺的離線集群管理方法及裝置

在審

• 申請號: 202011047395.2
• 申請日: 2020-09-28
• 公開（公告）號: CN112187925A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 孟恒;禹平
• 申請（專利權）人: 江蘇銀承網絡科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F11/30
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 卜榮麗

本公開實施例公開了一種用于大數據平臺的離線集群管理方法和裝置，包括首先基于預設的容器化技術，將大數據平臺中離線集群服務的組件容器化，得到與組件相對應的容器；其次，將容器存儲至預設的集群中，得到容器集群；最后響應于接收到對大數據平臺的離線集群進行管理的請求，對容器集群中的容器進行調度。通過對容器調度的方式實現對大數據平臺離線集群的管理，提高了管理大數據平臺離線集群的管理效率。

技術領域

本公開涉及大數據平臺數據處理技術領域，具體涉及到一種用于大數據平臺的離線集群管理方法及裝置。

背景技術

容器技術，有效的將單個操作系統的資源劃分到孤立的組中，以便更好的在孤立的組之間平衡有沖突的資源使用需求。

大數據平臺離線集群的建設，主要的方式是多臺物理機按照Hadoop的對應的角色(Master，Worker)，申請眾多物理服務器節點，然后按照對應的角色，分別安裝Master服務(ResourceManager)，Worker服務(NodeManager)，從而最終完成大數據平臺的離線集群搭建。

現有技術中，對大數據平臺離線集群的管理通常采用的方式是，對集群中每個節點對應的物理機進行管理，管理效率低。

發明內容

本公開的主要目的在于提供一種用于大數據平臺的離線集群管理方法，以解決現有技術中，對大數據平臺離線集群的管理通常采用的方式是，對集群中每個節點對應的物理機進行管理，管理效率低問題。

為了實現上述目的，根據本公開的第一方面，提供了一種用于大數據平臺的離線集群管理方法，包括：基于預設的容器化技術，將大數據平臺中離線集群服務的組件容器化，得到與組件相對應的容器；將所述容器存儲至預設的集群中，得到容器集群；響應于接收到對所述大數據平臺的離線集群進行管理的請求，對容器集群中的容器進行調度。

可選地，響應于接收到對所述大數據平臺的離線集群進行管理的請求，對容器集群中容器進行調度包括：響應于接收到對指定的大數據平臺的離線集群的服務進行擴展的請求，利用預設的調度方法，將所需擴展的服務對應的容器分配至指定的大數據平臺的離線集群；和/或，響應于接收到對指定的大數據平臺的離線集群的大小進行調整的請求，將容器集群中的容器調度至離線集群中指定的節點中。

可選地，在基于預設的容器化技術，將大數據平臺中離線集群服務的組件容器化，得到與組件相對應的容器之前，所述方法還包括：將大數據平臺中離線集群服務的組件和大數據平臺中離線集群服務的配置文件存儲至公共盤中；將大數據平臺離線集群中的節點與所述公共盤進行關聯。

可選地，將大數據平臺離線集群中的節點與所述公共盤進行關聯包括：將大數據平臺中離線集群中的節點與所述公共盤中大數據平臺中離線集群服務的組件進行掛載；將大數據平臺中離線集群中的節點與所述公共盤中大大數據平臺中離線集群服務的配置文件進行掛載。

可選地，在所述基于預設組件容器化技術，將大數據平臺中離線集群服務的組件容器化之后，所述方法還包括：對所述容器進行異常監控；如果監控得到所述容器存在異常，對所述存在異常的容器進行重啟。

根據本公開的第二方面，提供了一種用于大數據平臺的離線集群管理裝置，包括：處理單元，被配置成基于預設的容器化技術，將大數據平臺中離線集群服務的組件容器化，得到與組件相對應的容器；存儲單元，被配置成將所述容器存儲至預設的集群中，得到容器集群；調度單元，被配置成響應于接收到對所述大數據平臺的離線集群進行管理的請求，對容器集群中的容器進行調度。

可選地，調度單元進一步被配置成：響應于接收到對指定的大數據平臺的離線集群的服務進行擴展的請求，利用預設的調度方法，將所需擴展的服務對應的容器分配至指定的大數據平臺的離線集群；和/或，響應于接收到對指定的大數據平臺的離線集群的大小進行調整的請求，將容器集群中的容器調度至離線集群中指定的節點中。