[發明專利]基于Seldon的AI模型發布方法及系統

有效

• 申請號: 202110604555.7
• 申請日: 2021-05-31
• 公開（公告）號: CN113296766B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 連城;王昆;張家銘;張恩賜;林貽承
• 申請（專利權）人: 中電福富信息科技有限公司
• 主分類號: G06F8/35
• 分類號: G06F8/35;G06F8/61
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 彭東

1.基于Seldon的AI模型發布方法，采用的系統包括容器管理模塊以及與容器管理模塊連接的模型庫、鏡像倉庫管理模塊、模型容器、制品庫和數據庫，鏡像倉庫管理模塊內置鏡像倉庫，鏡像倉庫管理模塊用于從鏡像倉庫提取基礎鏡像文件并提供給容器管理模塊，模型庫用于提供對應的模型文件，制品庫提供模型安裝所需環境的安裝包，數據庫用于存儲基礎模型對應的數據庫信息，容器管理模塊負責生成容器和基礎模型加載文件并啟動容器；容器管理模塊通過維護數據庫與基礎模型加載文件自動生成對應模型加載代碼并發布模型；模型容器連接服務管理模塊，服務管理模塊提供模型服務注冊信息并提供對外服務；其特征在于：方法包括以下步驟：

步驟1：鏡像倉庫管理模塊存放AI模型發布的seldon基礎鏡像，seldon基礎鏡像內安裝git，并且寫入了執行腳本下載代碼和模型文件的運行腳本；

步驟2：容器管理模塊使用seldon基礎鏡像啟動容器，執行dockerfile中寫的CMD命令，執行鏡像中的模型腳本將模型加載入容器；步驟2的具體加載步驟如下：

步驟2-1，判斷是否使用seldon基礎鏡像開啟容器；是則，通過環境變量傳入需要發布的模型的名稱和版本號以從數據庫查找元數據表并執行步驟2-2；否則，結束并退出；

步驟2-2，判斷元數據表查找結果是否為空；是則，返回對應模型名稱下所有版本號信息并結束退出；否則，返回該模型名稱和版本號在數據庫中存儲信息并執行步驟2-3，

步驟2-3，根據模型存放文件名和地址下載模型，并判斷模型是否下載成功；是則，根據模型運行環境安裝包存放地址下載所需安裝包并執行步驟2-4；否則，返回錯誤信息并結束退出；

步驟2-4，判斷安裝包是否下載成功；是則，生成對應模型的加載文件model.py并執行步驟2-5；否則，返回錯誤信息并結束退出；

步驟2-5，判斷加載文件model.py是否生成成功；是則，運行模型加載代碼model.py將模型加載入容器并執行步驟3；否則，返回錯誤信息并結束退出；

步驟3：服務管理模塊在容器開啟以后作為服務注冊到網關，通過rest或者gRPC的方式對外提供服務。

2.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：基礎鏡像是以Seldon為基礎的docker鏡像。

3.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：seldon基礎鏡像內安裝git，并且寫入了執行腳本下載代碼和模型文件的運行腳本；模型文件腳本用于定義模型版本，并在需要的時候進行模型版本回滾操作。

4.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：數據庫包括模型的評估信息、準確度以及存儲模型所需的依賴信息。

5.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：數據庫自動生成ModelId作為標識模型的唯一序列號；模型名稱、模型版本號和創建時間在存儲數據時人工輸入數據庫；模型名稱與版本號組成唯一標識的命名規則并作為文件名存儲在模型庫內；數據庫中模型的存儲路徑為模型庫Model分類下的對應模型文件位置；數據庫中模型運行環境安裝包地址格式為制品庫Environment分類下的對應模型名稱的文件。

6.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：步驟1中的模型文件腳本用于定義模型版本，并在需要的時候進行模型版本回滾操作。

7.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：步驟2-2的存儲信息包括模型存取地址。

8.根據權利要求1所述的基于Seldon的AI模型發布方法，其特征在于：步驟3中服務管理模塊通過控制容器的注冊信息來管理容器的對外服務。