[發明專利]一種Kubernetes中節點的資源管理方法、設備以及介質

有效

• 申請號: 202010112361.0
• 申請日: 2020-02-24
• 公開（公告）號: CN111367659B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 王德奎
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/30;G06F15/78
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰

本發明公開了一種Kubernetes中節點的資源管理方法，包括以下步驟：初始化組件以啟動主進程；通過所述主進程定義用于分別管理多種資源的多個子進程；響應于所述主進程檢測到所述多種資源中存在于節點的若干個實際資源，啟動每一個所述實際資源對應的子進程，并為每一個啟動的所述子進程啟動Grpc服務；利用所述主進程將成功啟動Grpc服務的所述子進程對應的資源注冊到Kubernetes中，以使所述成功啟動Grpc服務的子進程對所述若干個實際資源進行管理。本發明還公開了一種計算機設備以及可讀存儲介質。本發明提出的方案可以在不增加系統組件數量的情況下，支持更多類型的資源注冊到Kubernetes，不會增加額外的資源消耗，也不會提高系統的運維復雜度。

技術領域

本發明涉及PCB領域，具體涉及一種Kubernetes中節點的資源管理方法、設備以及存儲介質。

背景技術

Kubernetes基于其提供的資源管理機制，成為容器管理領域的主流開源項目，Kubernetes原生提供了對CPU、內存、硬盤這三類資源的管理機制，為了滿足不同用戶對資源類型擴展的需求，Kubernetes同時提供了一種叫做設備插件的機制，允許用戶按照設備插件定義的接口，實現第三方資源的注冊、分配、回收等操作，用戶創建的容器只需要在創建時，指定該第三方資源的名稱，設備插件機制就可以實現這類資源的分配，新創建的容器就可以使用這類資源進行計算。

在人工智能領域，也逐漸使用Kubernetes作為資源管理器，AI場景除需要基礎的CPU、內存、硬盤這三類資源外，通常還需要GPU、FPGA、 ASIC、InfiniBand等資源，以及為了滿足業務需求自定義的資源類型。可以基于Kubernetes的設備插件機制將這些資源交由Kubernetes管理， Kubernetes的設備插件機制通常是一種資源需要一個組件用于完成該類資源的管理，當AI場景下一個節點需要GPU、FPGA、ASIC、InfiniBand四種資源時，就需要在該節點部署4個組件，當集群有大量節點時，就需要在每個節點都部署這4個組件，由于每個組件都需要占用節點的一部分資源，并提高了系統的運維復雜度，在AI場景下，很多訓練任務都會使用節點的全部資源，才能加速訓練速度。因此需要有一種機制，來減少這種組件運行的資源消耗，將更多的資源釋放給訓練任務使用，同時降低系統的運維復雜度。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明實施例提出一種Kubernetes中節點的資源管理方法，包括以下步驟：

初始化組件以啟動主進程；

通過所述主進程定義用于分別管理多種資源的多個子進程；

響應于所述主進程檢測到所述多種資源中存在于節點的若干個實際資源，啟動每一個所述實際資源對應的子進程，并為每一個啟動的所述子進程啟動Grpc服務；

利用所述主進程將成功啟動Grpc服務的所述子進程對應的資源注冊到Kubernetes中，以使所述成功啟動Grpc服務的子進程對所述若干個實際資源進行管理。

在一些實施例中，通過所述主進程定義用于分別管理多種資源的多個子進程，進一步包括：

通過所述主進程為所述多個子進程分別定義資源名稱以及預設的資源處理接口的屬性。

在一些實施例中，使所述成功啟動Grpc服務的子進程對所述若干個實際資源進行管理，進一步包括：

響應于接收到所述Kubernetes中的Kubelet組件為容器申請資源的請求，待申請資源對應的所述子進程通過所述Grpc服務為所述容器分配所述待申請資源。

在一些實施例中，還包括：

通過所述主進程記錄所述容器與分配的所述待申請資源之間的對應關系；

將所述對應關系生成持久化文件，并將所述持久化文件保存到節點。