[發明專利]基于Kubernetes集群的機器學習模型平臺

有效

• 申請號: 202110374194.1
• 申請日: 2021-04-07
• 公開（公告）號: CN112966833B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 王一蕾;葉飛揚;傅仰耿;黃章衡;鄭松
• 申請（專利權）人: 福州大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F8/61;G06F21/44
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

本發明涉及一種基于Kubernetes集群的機器學習模型平臺，包括：網關模塊，用于系統對外服務入口的統一代理；認證服務及API模塊，用于系統統一的認證服務；以及模型服務模塊，用于模型服務的具體容器部署。所述機器學習模型平臺按如下步驟實施：發布者將機器學習模型包裝為docker鏡像，并集成相應的GRPC接口以及Protobuf說明文件；通過命令將該鏡像發布到平臺倉庫中；平臺根據發布者提供的部署表單將模型實例部署到平臺中，并自動進行網關端口轉發以及負載均衡；使用者通過URL以及權限認證token通過安全認證進行遠程過程調用模型接口。該管理平臺有利于簡化機器學習模型的部署過程，提高模型上線的效率。

技術領域

本發明涉及一種基于Kubernetes集群的機器學習模型平臺。

背景技術

隨著硬件設備的發展以及數據的爆炸式增長，單一超級計算機的服務架構已經過時。隨著docker以及kubernetes的出現，serverless架構的應用已經越來越成熟。大量的廠商也開始提供了kubernetes云服務。

如何簡化機器學習模型部署的過程，讓開發者可以專注于模型的研究和無需關心模型的部署以及生產環境下的投入使用等因素，是一個亟待解決的問題。

發明內容

本發明的目的在于提供一種基于Kubernetes集群的機器學習模型平臺，該平臺有利于簡化機器學習模型的部署過程，提高模型上線的效率。

為實現上述目的，本發明采用的技術方案是：一種基于Kubernetes集群的機器學習模型平臺，包括：

網關模塊，用于系統對外服務入口的統一代理；

認證服務及API模塊，用于系統統一的認證服務；以及

模型服務模塊，用于模型服務的具體容器部署。

進一步地，所述網關模塊包括Envoy代理模塊和服務發現模塊，Envoy網關提供外網統一入口，通過對接Envoy服務發現接口，以實現自動注冊內網服務簇的功能，同時通過反向代理和http中間管道過濾，為后續的認證模塊、模型模塊提供統一管理。

進一步地，所述認證服務及API模塊包括模型服務認證模塊、Docker倉庫認證模塊和自動化部署模塊，認證服務模塊為Grpc模型、Docker私有倉庫提供統一的身份認證以及授權管理服務，自動化部署模塊集成創建kubernetes部署服務的過程，通過RestfulAPI為外部提供自動化部署接口。

進一步地，所述模型服務模塊包括Docker鏡像倉庫模塊和Grpc模型服務模塊，Docker鏡像倉庫模塊采用Docker私有倉庫鏡像部署于kubernetes集群中；Grpc模型服務模塊提供統一接口規范，由開發者根據規范編寫機器學習模型鏡像并通過Docker發布于平臺的Docker私有倉庫中。

進一步地，所述機器學習模型平臺按如下步驟實施：

步驟S1：發布者將機器學習模型包裝為docker鏡像，并集成相應的GRPC接口以及Protobuf說明文件；通過命令將該鏡像發布到平臺倉庫中；

步驟S2：平臺根據發布者提供的部署表單將模型實例部署到平臺中，并自動進行網關端口轉發以及負載均衡；

步驟S3：使用者通過URL以及權限認證token通過安全認證進行遠程過程調用模型接口。

進一步地，所述步驟S1具體包括以下步驟：

步驟S11：開發者通過docker容器完成模型開發和封裝；

步驟S12：開發者按照規范封裝后GRPC接口并準備好Protobuf文件；

步驟S13：開發者通過docker保存容器的鏡像版本，并打上相應的標簽；