[發明專利]基于k8s集群的多模型推理服務部署方法及裝置

有效

• 申請號: 202011077010.7
• 申請日: 2020-10-10
• 公開（公告）號: CN112231054B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 陳清山
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06N5/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 陳黎明;宋薇薇

本發明公開了基于k8s集群的多模型推理服務部署方法及裝置。所述方法包括：在k8s集群的最小調度單位中部署調度服務，并為所述調度服務配置內存、計算資源和調度策略；根據調度服務的內存部署多個模型推理服務，并將每個模型推理服務配置為使用所述調度服務的計算資源，以及配置為與所述調度服務相關聯；調度服務根據所述調度策略調用所述多個模型推理服務以處理推理任務。本發明的方案實現了多個模型推理服務共享最小調度單位的能力，并且多模型推理服可以隨服務負載進行彈性伸縮，部署操作較為簡單。

技術領域

本發明屬于云計算領域，尤其涉及一種基于k8s集群的多模型推理服務部署方法、裝置、計算機設備及存儲介質。

背景技術

隨著機器學習方法在實際生產中被越來越廣泛地應用，生產系統中需要部署的模型數量也是越來越多。例如機器學習應用程序提供個性化的體驗往往需要訓練很多模型；舉例來說，新聞分類服務會訓練于新聞類別的定制模型，推薦模型可以訓練每個用戶的使用情況歷史以個性化其建議；分別訓練如此多的模型主要原因是保護用戶的模型和數據隱私安全。

在K8S集群中，POD資源是有數量限制的(默認情況下，每個Node可以啟動110個POD實例)，在默認情況下，在100個Node規模的集群中，最多也只能部署11000推理服務，因而在現有模型數量越來越多的情況下，在一個系統中部署成千上萬個模型是一個很具有挑戰性的任務。此外，越來越多的模型都是基于神經網絡的，此種類型的模型需要部署在GPU服務器上才能體現出較好的性能。目前部署多模型的主要方式是在系統中部署支持多模型加載的服務，例如Tensor Flow Serving、Trion Serving、AWS Multi-Model Serving，但是此類服務都是傳統服務，不支持在集群中的彈性伸縮，并且操作復雜。

發明內容

有鑒于此，有必要針對以上技術問題，提供一種基于k8s集群的多模型推理服務部署方法、裝置、計算機設備及存儲介質。

根據本發明的一方面，提供了一種基于k8s集群的多模型推理服務部署方法，所述方法包括：

在k8s集群的最小調度單位中部署調度服務，并為所述調度服務配置內存、計算資源和調度策略；

根據調度服務的內存部署多個模型推理服務，并將每個模型推理服務配置為使用所述調度服務的計算資源，以及配置為與所述調度服務相關聯；

若接收到推理任務請求，則調度服務根據所述調度策略調用所述多個模型推理服務以處理推理任務。

在其中一個實施例中，所述在k8s集群的最小調度單位中部署調度服務，并為所述調度服務配置內存、計算資源和調度策略的步驟包括：

配置所述調度服務的名稱、內存大小和調度策略類型；

獲取k8s集群的最小調度單位的CPU和GPU，并將所述調度服務配置為使用最小調度單位的CPU和GPU。

在其中一個實施例中，所述調度策略類型包括內存方式和服務并發方式。

在其中一個實施例中，所述根據調度服務的內存部署多個模型推理服務，并將每個模型推理服務配置為使用所述調度服務的計算資源，以及配置為與所述調度服務相關聯的步驟包括：

獲取每個模型推理服務所需的內存，并基于所需的內存將所述調度服務的內存分配給每個模型推理服務，其中，每個模型推理服務占用不同的內存地址；

取消每個模型推理服務的調度策略配置，以使每個模型推理服務繼承所述調度服務的調度策略；

利用所述調度服務的名稱將每個模型推理服務注冊到所述調度服務下。

在其中一個實施例中，所述方法還包括：

利用所述調度服務從任務發送端接收推理任務請求，并通過解析確定所述任務請求對應的內存地址。