[發明專利]基于Seldon的AI模型發布方法及系統

有效

• 申請號: 202110604555.7
• 申請日: 2021-05-31
• 公開（公告）號: CN113296766B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 連城;王昆;張家銘;張恩賜;林貽承
• 申請（專利權）人: 中電福富信息科技有限公司
• 主分類號: G06F8/35
• 分類號: G06F8/35;G06F8/61
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 彭東

本發明公開基于Seldon的AI模型發布方法及系統，通過構建出一個以Seldon為基礎的docker鏡像，存放在鏡像管理模塊的鏡像倉庫內，作為模型發布的基礎容器。容器管理模塊則通過基礎鏡像，啟動模型容器，并且通過命令行輸入相應模型參數，就可以自動生成模型加載文件model.py，并從制品庫下載并安裝對應模型所需環境安裝包和從模型庫下載對應的模型文件。運行model.py時會加載對應版本的模型進行發布。最后通過服務管理模塊將發布的模型注冊到網關，通過控制發布模型的注冊信息完成對發布模型的管理，解決模型持續發布“最后一公里”問題。

技術領域

本發明涉及人工智能技術領域，尤其涉及基于Seldon的AI模型發布方法及系統。

背景技術

目前模型發布一種常用的方法是使用TensorFlow Serving，但其僅支持發布TensorFlow框架生成的模型。還有一種常用的模型發布方式是采用Seldon平臺發布機器學習模型。Seldon是一個用于在Kubernetes上部署機器學習模型的開源平臺。Seldon允許數據科學家使用任何機器學習工具包或編程語言創建模型，包括主流的TensorFlow模型、Pytorch等模型。Seldon平臺在部署模型時通過REST和gRPC公開機器學習模型，以便可以集成到需要的業務應用程序中。并且Seldon允許將復雜的運行時推理圖部署為微服務，包括模型服務、路由器服務、組合其服務和變形器服務，可以很方便的進行部署和更新，而且可以處理已部署模型的完整生命周期管理，例如無需停機就可以更新模型、可以縮放，監控模型。然而普通采用Seldon平臺發布也存在著它的不足之處。Seldon平臺部署機器學習模型時需要開發者人工編寫模型加載文件model.py。然而通常的機器學習模型的加載文件的內容相似性高，每次加載模型都需要重新編寫，嚴重影響開發者開發效率。而且對于大規模的模型部署來說，每次使用都需要編寫模型加載文件，無法實現模型持續發布。

發明內容

本發明的目的在于提供基于Seldon的AI模型發布方法及系統。

本發明采用的技術方案是：

基于Seldon的AI模型發布系統，其包括容器管理模塊以及與容器管理模塊連接的模型倉庫、鏡像倉庫管理模塊、模型容器、制品庫和數據庫，鏡像倉庫管理模塊內置鏡像倉庫，鏡像倉庫管理模塊用于從鏡像倉庫提取基礎鏡像文件并提供給容器管理模塊，模型庫中用于提供對應的模型文件，制品庫提供模型安裝所需環境的安裝包，數據庫用于存儲基礎模型對應的數據庫信息，容器管理模塊負責生成容器和基礎模型加載文件并啟動容器；容器管理模塊通過維護數據庫與基礎模型加載文件自動生成對應模型加載代碼并發布模型；模型容器連接服務管理模塊，服務管理模塊提供模型服務注冊信息并提供對外服務。

進一步地，作為一種較優實施方式，基礎鏡像是以Seldon為基礎的docker鏡像。

進一步地，作為一種較優實施方式，seldon基礎鏡像內安裝git，并且寫入了執行腳本下載代碼和模型文件的運行腳本；模型文件腳本用于定義模型版本，并在需要的時候進行模型版本回滾操作。

進一步地，作為一種較優實施方式，數據庫包括模型的評估信息、準確度以及存儲模型所需的依賴信息。

進一步地，作為一種較優實施方式，數據庫自動生成ModelId作為標識模型的唯一序列號；模型名稱、模型版本號和創建時間在存儲數據時人工輸入數據庫；模型名稱與版本號組成唯一標識的命名規則并作為文件名存儲在模型庫內；數據庫中模型的存儲路徑為模型庫Model分類下的對應模型文件位置；數據庫中模型運行環境安裝包地址格式為制品庫Environment分類下的對應模型名稱的文件。

基于Seldon的AI模型發布方法，其包括以下步驟：

步驟1：鏡像倉庫管理模塊存放AI模型發布的seldon基礎鏡像，seldon基礎鏡像內安裝git，并且寫入了執行腳本下載代碼和模型文件的運行腳本；