[發明專利]基于k8s集群的多模型推理服務部署方法及裝置

有效

• 申請號: 202011077010.7
• 申請日: 2020-10-10
• 公開（公告）號: CN112231054B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 陳清山
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06N5/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 陳黎明;宋薇薇

1.一種基于k8s集群的多模型推理服務部署方法，其特征在于，所述方法包括：

在k8s集群的最小調度單位中部署調度服務，并為所述調度服務配置內存、計算資源和調度策略；

根據調度服務的內存部署多個模型推理服務，并將每個模型推理服務配置為使用所述調度服務的計算資源，以及配置為與所述調度服務相關聯；

若接收到推理任務請求，則調度服務根據所述調度策略調用所述多個模型推理服務以處理推理任務；

其中，所述在k8s集群的最小調度單位中部署調度服務，并為所述調度服務配置內存、計算資源和調度策略的步驟包括：

配置所述調度服務的名稱、內存大小和調度策略類型；

獲取k8s集群的最小調度單位的CPU和GPU，并將所述調度服務配置為使用所述最小調度單位的CPU和GPU；

所述根據調度服務的內存部署多個模型推理服務，并將每個模型推理服務配置為使用所述調度服務的計算資源，以及配置為與所述調度服務相關聯的步驟包括：

獲取每個模型推理服務所需的內存，并基于所需的內存將所述調度服務的內存分配給每個模型推理服務，其中，每個模型推理服務占用不同的內存地址；

取消每個模型推理服務的調度策略配置，以使每個模型推理服務繼承所述調度服務的調度策略；

利用所述調度服務的名稱將每個模型推理服務注冊到所述調度服務下。

2.根據權利要求1所述的方法，其特征在于，所述調度策略類型包括內存方式和服務并發方式。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

利用所述調度服務從任務發送端接收推理任務請求，并通過解析確定所述任務請求對應的內存地址。

4.根據權利要求3所述的方法，其特征在于，所述調度服務根據所述調度策略調用所述多個模型推理服務以處理推理任務的步驟包括：

所述調度服務將所述任務請求對應的內存地址與每個模型推理服務的內存地址進行匹配以確定目標模型推理服務；

所述調度服務利用所述調度策略將所述任務請求發送給所述目標模型推理服務；

利用所述目標模型推理服務響應所述任務請求以生成處理結果，并將所述處理結果返回至所述調度服務。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

利用所述調度服務將所述處理結果返回至所述任務發送端。

6.一種基于k8s集群的多模型推理服務部署裝置，其特征在于，所述裝置包括：

調度服務配置模塊，用于在k8s集群的最小調度單位中部署調度服務，并為所述調度服務配置內存、計算資源和調度策略；

模型推理服務配置模塊，用于根據調度服務的內存部署多個模型推理服務，并將每個模型推理服務配置為使用所述調度服務的計算資源，以及配置為與所述調度服務相關聯；

任務處理模塊，用于在接收到推理任務請求時，則調度服務根據所述調度策略調用所述多個模型推理服務以處理推理任務；

其中，調度服務配置模塊進一步用于：

配置所述調度服務的名稱、內存大小和調度策略類型；

獲取k8s集群的最小調度單位的CPU和GPU，并將所述調度服務配置為使用所述最小調度單位的CPU和GPU；

所述模型推理服務配置模塊進一步用于：

獲取每個模型推理服務所需的內存，并基于所需的內存將所述調度服務的內存分配給每個模型推理服務，其中，每個模型推理服務占用不同的內存地址；

取消每個模型推理服務的調度策略配置，以使每個模型推理服務繼承所述調度服務的調度策略；

利用所述調度服務的名稱將每個模型推理服務注冊到所述調度服務下。

7.一種計算機設備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器中運行的計算機程序，所述處理器執行所述程序時執行權利要求1-5任意一項所述的方法。

8.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時執行權利要求1-5任意一項所述的方法。