[發明專利]一種面向共享式GPU集群下的容器調度方法及裝置

在審

• 申請號: 202210535352.1
• 申請日: 2022-05-17
• 公開（公告）號: CN114968566A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 亓晉;陳孟璽;孫雁飛;許斌
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F9/455
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松

本發明公開了一種面向共享式GPU集群下的容器調度方法及裝置，獲取Pod創建請求，根據Pod創建請求中Pod創建信息對Pod進行校驗獲得Pod標記，并根據Pod創建信息獲取Pod總的所需資源信息；根據Pod創建信息中Pod業務優先級標簽和Pod總的所需資源信息對Pod進行排序，獲得調度隊列隊頭的待調度Pod；根據待調度Pod的Pod創建信息中Pod所需的CPU標簽、內存標簽與GPU標簽，Pod標記和集群節點狀態信息，對節點進行過濾，獲得Pod可調度節點；根據Pod可調度節點的數量和待調度Pod的Pod標記，計算Pod對應可調度節點的得分，根據得分待調度Pod匹配最優的Pod可調度節點。本發明提高任務處理效率及節點內資源的利用率。既考慮負載均衡，又提高資源利用率，且避免出現CPU、內存消耗不均衡。

技術領域

本發明涉及一種面向共享式GPU集群下的容器調度方法及裝置，屬于集群調度技術領域。

背景技術

分布式計算集群Kubernetes（以下簡稱為k8s）下層節點主要由GPU(圖像運算工作的微處理器，同CPU是重要的計算引擎)服務器構成，結合CPU、存儲等為深度學習等任務提供計算資源。由于人工智能與工程計算平臺在各行各業應用更加廣泛，其對GPU計算資源也在逐漸增加。

分布式集群的容器調度需要基于當前業務指標需要及資源池狀態分配調度容器，傳統的K8s集群依靠GPU數量而非顆粒度的使用GPU實現共享，導致分布式集群調度針對復雜多樣的計算場景及資源需求適配性能差；相關技術中，基于調度容器的需求選擇最適配的節點進行容器調度,對調度隊列及GPU資源打分處理不夠合理，導致整個分布式集群任務分配效率降低與GPU資源利用率低問題，影響集群性能。

為解決多樣化的計算業務中調度不合理、GPU資源利用率低的問題，本發明提出一種面向共享式GPU集群下的容器調度方法。

發明內容

目的：為了克服現有技術中存在的多樣化的計算業務中調度不合理、GPU資源利用率低的問題，本發明提供一種面向共享式GPU集群下的容器調度方法及裝置。

技術方案：為解決上述技術問題，本發明采用的技術方案為：

第一方面，一種面向共享式GPU集群下的容器調度方法，包括如下步驟：

獲取Pod創建請求，根據Pod創建請求中Pod創建信息對Pod進行校驗獲得Pod標記，并根據Pod創建信息獲取Pod總的所需資源信息。

根據Pod創建信息中Pod業務優先級標簽和Pod總的所需資源信息對Pod進行排序，獲得調度隊列隊頭的待調度Pod。

根據待調度Pod的Pod創建信息中Pod所需的CPU標簽、內存標簽與GPU標簽，Pod標記和集群節點狀態信息，對節點進行過濾，獲得Pod可調度節點。

根據Pod可調度節點的數量和待調度Pod的Pod標記，計算Pod對應可調度節點的得分，根據得分待調度Pod匹配最優的Pod可調度節點。

第二方面，一種面向共享式GPU集群下的容器調度裝置，包括如下模塊：

Pod標記及資源信息獲取模塊，用于獲取Pod創建請求，根據Pod創建請求中Pod創建信息對Pod進行校驗獲得Pod標記，并根據Pod創建信息獲取Pod總的所需資源信息。

Pod排序模塊，用于根據Pod創建信息中Pod業務優先級標簽和Pod總的所需資源信息對Pod進行排序，獲得調度隊列隊頭的待調度Pod。

Pod可調度節點獲取模塊，用于根據待調度Pod的Pod創建信息中Pod所需的CPU標簽、內存標簽與GPU標簽，Pod標記和集群節點狀態信息，對節點進行過濾，獲得Pod可調度節點。

最佳節點獲取模塊，用于根據Pod可調度節點的數量和待調度Pod的Pod標記，計算Pod對應可調度節點的得分，根據得分待調度Pod匹配最優的Pod可調度節點。