[發(fā)明專利]基于Kubernetes集群的機器學習模型平臺

有效

• 申請?zhí)枺?/td>: 202110374194.1
• 申請日: 2021-04-07
• 公開（公告）號: CN112966833B
• 公開（公告）日: 2023-01-31
• 發(fā)明（設計）人: 王一蕾;葉飛揚;傅仰耿;黃章衡;鄭松
• 申請（專利權）人: 福州大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F8/61;G06F21/44
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

1.一種基于Kubernetes集群的機器學習模型平臺，其特征在于，包括：

網關模塊，用于系統(tǒng)對外服務入口的統(tǒng)一代理；

認證服務及API模塊，用于系統(tǒng)統(tǒng)一的認證服務；以及

模型服務模塊，用于模型服務的具體容器部署；

所述機器學習模型平臺按如下步驟實施：

步驟S1：發(fā)布者將機器學習模型包裝為docker鏡像，并集成相應的GRPC接口以及Protobuf說明文件；通過命令將該鏡像發(fā)布到平臺倉庫中；

步驟S2：平臺根據發(fā)布者提供的部署表單將模型實例部署到平臺中，并自動進行網關端口轉發(fā)以及負載均衡；

步驟S3：使用者通過URL以及權限認證token通過安全認證進行遠程過程調用模型接口；

所述步驟S1具體包括以下步驟：

步驟S11：開發(fā)者通過docker容器完成模型開發(fā)和封裝；

步驟S12：開發(fā)者按照規(guī)范封裝后GRPC接口并準備好Protobuf文件；

步驟S13：開發(fā)者通過docker保存容器的鏡像版本，并打上相應的標簽；

步驟S14：將該鏡像通過publish遠程發(fā)送給平臺私有倉庫；

所述步驟S2具體包括以下步驟：

步驟S21：開發(fā)者通過平臺提供的接口完成表單的填寫，并將表單發(fā)送給平臺后端；

步驟S22：平臺后端根據表單內容從私有倉庫中查找相應的鏡像，并為該鏡像生成實例容器部署于平臺中；

步驟S23：平臺通過envoy網關發(fā)現服務動態(tài)，為該容器提供相應的URL供外部調用；

所述步驟S3具體包括以下步驟：

步驟S31：使用者通過查閱平臺的模型服務節(jié)點URL對模型服務進行遠程調用；

步驟S32：模型調用過程中，通過網關將初始的請求轉發(fā)到認證服務器，完成認證后再進一步轉發(fā)給指定模型服務；

步驟S33：模型完成計算后返回相應的結果。

2.根據權利要求1所述的基于Kubernetes集群的機器學習模型平臺，其特征在于，所述網關模塊包括Envoy代理模塊和服務發(fā)現模塊，Envoy網關提供外網統(tǒng)一入口，通過對接Envoy服務發(fā)現接口，以實現自動注冊內網服務簇的功能，同時通過反向代理和http中間管道過濾，為后續(xù)的認證模塊、模型模塊提供統(tǒng)一管理。

3.根據權利要求1所述的基于Kubernetes集群的機器學習模型平臺，其特征在于，所述認證服務及API模塊包括模型服務認證模塊、Docker倉庫認證模塊和自動化部署模塊，認證服務模塊為Grpc模型、Docker私有倉庫提供統(tǒng)一的身份認證以及授權管理服務，自動化部署模塊集成創(chuàng)建kubernetes部署服務的過程，通過RestfulAPI為外部提供自動化部署接口。

4.根據權利要求1所述的基于Kubernetes集群的機器學習模型平臺，其特征在于，所述模型服務模塊包括Docker鏡像倉庫模塊和Grpc模型服務模塊，Docker鏡像倉庫模塊采用Docker私有倉庫鏡像部署于kubernetes集群中；Grpc模型服務模塊提供統(tǒng)一接口規(guī)范，由開發(fā)者根據規(guī)范編寫機器學習模型鏡像并通過Docker發(fā)布于平臺的Docker私有倉庫中。