[發明專利]一種基于Kubernetes的推理服務系統

有效

• 申請號: 202010470862.6
• 申請日: 2020-05-28
• 公開（公告）號: CN111629061B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 王超;吳韶華;陳清山;張榮國;林秀
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/51
• 分類號: H04L67/51;H04L67/1095;H04L67/10;H04L69/22;G06N5/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王云曉

本申請提供一種基于Kubernetes的推理服務系統，包括：計算資源集群和推理服務平臺；其中，推理服務平臺包括：多框架模型模塊，用于支持多種框架導出的模型；自定義鏡像模塊，用于獲取用戶發送的鏡像文件，根據鏡像文件進行部署，并執行推理服務，其中，鏡像文件是用戶將完成訓練的模型和運行環境進行封裝而得到的文件。可見，本申請將訓練完成的模型和運行環境以鏡像形式進行封裝，提交到推理服務平臺，推理服務平臺通過參數傳遞形式進行線上推理服務的部署，不需要轉換模型類型，也無需顧慮模型兼容性即可進行推理任務，提高了推理服務運行的效率。

技術領域

本申請涉及推理服務技術領域，特別涉及一種基于Kubernetes的推理服務系統。

背景技術

在線推理服務(Online Inference Service)，是機器學習工程中的重要的一環，通過在線推理服務，訓練出來的模型得以在生產環節中體現其價值。很多互聯網或具有線上業務的企業通常存在幾個甚至幾十個線上推理服務，每天調用次數高達千萬級別。為了高效穩定的支撐在線服務，在線線服務框架需要能夠支持主流深度學習框架，支持運行在CPU和GPU資源上，并且單顯卡支持運行多個模型，提升GPU資源利用率。相關技術中雖然采用的提供了多框架模型的支持，但是對于非標準深度學習框架訓練得到的模型，及SaaS層的AI應用，現有技術無法提供在線部署功能進行在線推理服務。

因此，如何提供一種解決上述技術問題的方案是本領域技術人員目前需要解決的問題。

發明內容

本申請的目的是提供一種基于Kubernetes的推理服務系統，能夠將訓練完成的模型和運行環境以鏡像形式進行封裝，提交到推理服務平臺，推理服務平臺通過參數傳遞形式進行線上推理服務的部署，不需要轉換模型類型，也無需顧慮模型兼容性即可進行推理任務。其具體方案如下：

本申請提供了一種基于Kubernetes的推理服務系統，包括：

計算資源集群和推理服務平臺；

其中，所述推理服務平臺包括：

多框架模型模塊，用于支持多種框架導出的模型；

自定義鏡像模塊，用于獲取用戶發送的鏡像文件，根據所述鏡像文件進行部署，并執行推理服務，其中，所述鏡像文件是用戶將完成訓練的模型和運行環境進行封裝而得到的文件。

可選的，所述推理服務平臺還包括：

測試與發布模塊，用于獲取測試模型，并基于所述測試模型、對應的運行模型利用A/B測試和對應的分流信息進行性能測試，當所述測試模型的性能大于所述運行模型的性能時，將所述測試模型滾動發布。

可選的，所述測試與發布模塊，用于在空閑時間，將所有所述運行模型對應的用戶遷移到所述測試模型上，實現所述測試模型的發布。

可選的，所述測試與發布模塊，用于依次的將所述運行模型對應的用戶遷移到所述測試模型上，實現所述測試模型的發布。

可選的，所述推理服務平臺還包括：

流量管理模型，用于通過預設方式分流用戶的請求流量，得到所述分流信息。

可選的，所述多框架模型模塊，還用于獲取修改預上線推理服務的配置文件，創建推理服務實例。

可選的，所述多框架模型模塊，還用于獲取添加預上線推理服務的配置文件的參數，創建推理服務實例。

可選的，所述自定義鏡像模塊，還用于對所述鏡像文件進行解析，得到所述訓練的模型和所述運行環境；基于所述訓練的模型和所述運行環境執行所述推理服務，得到推理結果，并將所述推理結果反饋至所述用戶。

可選的，還包括：調度模塊，用于根據所述計算資源集群中的計算資源的利用率或者用戶提供的度量指標，確定對應的pod的數量。