[發明專利]一種AI算法的部署運行方法、設備及介質

在審

• 申請號: 202310071454.7
• 申請日: 2023-01-17
• 公開（公告）號: CN116048540A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 孫建鵬;荊世華;史艷慶
• 申請（專利權）人: 浪潮數字糧儲科技有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06F8/71;G06F9/455
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 王彬

1.一種AI算法的部署運行方法，其特征在于，所述方法包括：

在指定AI算法部署時，確定所述指定AI算法對應的部署方式；

通過所述指定AI算法對應的部署方式將所述指定AI算法部署至宿主服務器，形成指定AI算法模型；

確定所述指定AI算法模型對應的運行環境；

在所述運行環境運行所述指定AI算法模型時，對所述指定AI算法模型進行狀態監控和啟停控制。

2.根據權利要求1所述的方法，其特征在于，所述AI算法部署方式包括服務器環境直接部署與容器化部署；

所述通過所述指定AI算法對應的部署方式將所述指定AI算法部署至宿主服務器，形成指定AI算法模型，包括：

所述AI算法部署方式為服務器環境直接部署時，根據所述指定AI算法的預設目錄結構部署到所述宿主服務器中，形成指定AI算法模型；

所述AI算法部署方式為容器化部署時，通過容器化技術將所述指定AI算法與對應的指定依賴包打包到鏡像文件，將所述鏡像文件部署至宿主服務器，形成指定AI算法模型。

3.根據權利要求2所述的方法，其特征在于，所述指定依賴包包括公共依賴包與算法依賴包；

所述通過容器化技術將所述指定AI算法與對應的指定依賴包打包到鏡像文件，包括：

將所述公共依賴包轉移到所述宿主服務器的公共運行環境；

通過容器化技術將所述指定AI算法與所述算法依賴包打包到所述鏡像文件中。

4.根據權利要求3所述的方法，其特征在于，所述公共運行環境包括多個圖形處理框架與多個深度學習框架；

所述將所述公共依賴包轉移到所述宿主服務器的公共運行環境前，所述方法還包括：

對比不同AI算法依賴的公共運行環境差異，形成多套公共運行環境。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

若所述公共依賴包與所述算法依賴包不適配，通過公共依賴環境，將不適配的依賴包采用各自算法獨立的依賴包目錄的方式，并通過引用anaconda的方式，實現不同算法依賴環境相互隔離的效果。

6.根據權利要求1所述的方法，其特征在于，所述對所述指定AI算法模型進行狀態監控和啟停控制，包括：

確定所述指定AI算法模型對應的模型部署方式；

根據所述指定AI算法模型對應的模型部署方式，采用對應的處理方式對所述指定AI算法模型進行狀態監控和啟停控制。

7.根據權利要求6所述的方法，其特征在于，所述模型部署方式為單服務器部署方式；

所述采用對應的處理方式對所述指定AI算法模型進行狀態監控和啟停控制，包括：

1)容器化部署：封裝了一套容器客戶端的工具包，工具包包括容器的啟動、停止、重啟、創建、移除、單容器狀態查看、服務器容器狀態查看，通過控制容器狀態，以達到控制算法啟停的目的；

應用的工具包包括：

啟動：首先配置所述指定AI算法在容器中自啟動，在容器啟動時可自動調用算法的啟動腳本，通過工具包的啟動命令，根據編號找到包含所述指定AI算法的鏡像容器，啟動容器，以實現所述指定AI算法啟動；

停止：根據編號找到指定容器，停止容器，以實現所述指定AI算法的停止；

2)直接部署：

所述指定AI算法直接部署的方式，沒有容器文件，不能通過控制容器的方式啟停算法；

啟動：在所述指定AI算法中添加啟動腳本，并放到指定目錄下，通過編號找到要進行啟動的算法，切換到對應目錄下，執行啟動腳本，啟動算法；

停止：記錄所述指定AI算法的名稱，通過所述指定AI算法的名稱，在服務器中執行操作系統命令查找正在運行的進程，獲取進程編號，然后操作系統命令殺死進程，以停止算法。