[發明專利]一種資源控制方法和裝置

在審

• 申請號: 201811399681.8
• 申請日: 2018-11-22
• 公開（公告）號: CN109471733A
• 公開（公告）日: 2019-03-15
• 發明（設計）人: 張浩
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 富愛民;解婷婷

本申請提供一種資源控制方法和裝置，所述方法包括：獲取每個服務單元的圖形處理器GPU信息和內存信息；根據每個服務單元的GPU信息、內存信息以及當前服務單元總數量確定伸縮策略，所述伸縮策略用于控制服務單元的數量。通過上述技術方案，可以對深度學習預測服務的資源數量進行有效的控制。

技術領域

本發明涉及計算機領域，尤其涉及一種資源控制方法和裝置。

背景技術

彈性伸縮一般有兩種方法：水平伸縮和垂直伸縮。水平伸縮是增刪服務單元的數量，垂直伸縮是改變每個服務單元的資源。Kubernetes(一個開源的、用于管理云平臺中多個主機上的容器化的應用)官方采用的HPA(Horizontal服務單元Autoscaling，水平伸縮)策略是根據每個服務單元Pod(Kubernetes中的最小部署單元，由一組緊耦合的容器組成的容器組)的CPU(Central Processing Unit，中央處理器)監控數據，決定增加/刪除Pod的數量。在深度學習的時代，很多公司都提供了深度學習的預測服務，而且很多云服務平臺是基于Kubernetes集群部署的。深度學習的預測服務在本質上和普通的服務沒有區別，但是在運行過程中，普通的服務更依賴于CPU，而深度學習的預測服務對CPU的依賴較小，通過CPU的監控數據控制無法有效的控制Pod的數量。

發明內容

本申請所要解決的技術是提供一種資源控制方法和裝置，可以對深度學習預測服務的資源數量進行有效的控制。

為了解決上述技術問題，本申請提供了一種資源控制方法，所述方法包括：

獲取每個服務單元的圖形處理器GPU信息和內存信息；

根據每個服務單元的GPU信息、內存信息以及當前服務單元總數量確定伸縮策略，所述伸縮策略用于控制服務單元的數量。

可選地，所述根據每個服務單元的GPU信息、內存信息以及當前服務單元總數量確定伸縮策略包括：

根據每個服務單元的GPU信息計算每個服務單元的GPU使用率；

根據每個服務單元的內存信息計算每個服務單元的內存使用率；

根據每個服務單元的GPU使用率、內存使用率以及當前服務單元總數量確定伸縮策略。

可選地，根據每個服務單元的GPU使用率、內存使用率以及當前服務單元總數量確定伸縮策略包括：

當滿足以下任一條件時，確定伸縮策略為增加服務單元：

當前所有服務單元的平均GPU使用率大于第一閾值，且當前服務單元總數量小于服務單元數量最大閾值；

當前所有服務單元的平均內存使用率大于第二閾值，且當前服務單元總數量小于服務單元數量最大閾值。

可選地，所述根據每個服務單元的GPU使用率、內存使用率以及當前服務單元總數量確定伸縮策略包括：

若當前所有服務單元的平均GPU使用率和平均內存使用率均小于第三閾值，且當前服務單元總數量大于服務單元數量最小閾值，則確定伸縮策略為刪除服務單元和/或暫停服務單元。

可選地，所述根據每個服務單元的GPU信息、內存信息以及當前服務單元總數量確定伸縮策略之后，所述方法還包括：

執行所述伸縮策略對應的操作。

本申請還提供一種資源控制裝置，包括：存儲器和處理器；所述存儲器，用于保存用于資源控制的程序；

所述處理器，用于讀取執行所述用于資源控制的程序，執行如下操作：

獲取每個服務單元的圖形處理器GPU信息和內存信息；