[發明專利]基于容器的模型訓練測試調優和部署方法和裝置

有效

• 申請號: 202011371610.4
• 申請日: 2020-11-30
• 公開（公告）號: CN112463301B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 張昭;韓錦;潘正頤;侯大為
• 申請（專利權）人: 常州微億智造科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 劉松

本發明提供一種基于容器的模型訓練測試調優和部署方法和裝置，所述方法包括以下步驟：對模型訓練所在的容器環境部署service網格服務；通過模型訓練和測試算法驅動程序接收接口服務請求入參進行算法迭代；在模型訓練和測試算法迭代過程中，記錄算法迭代參數和訓練目標函數之間的關聯關系，并對訓練過程中的中間結果進行記錄和可視化顯示。本發明的方法，通過使用容器服務網格轉換的方式，提高了安全性，并且算法的請求為請求接口服務，不會出現無法嵌入原有系統的問題，同時將模型訓練的參數和訓練過程中訓練目標函數對應關系進行解析并存儲，便于根據模型的性能指標對模型參數逆向調優，此外，對模型訓練中間過程進行可視化展示，便于調試和訓練優化。

技術領域

本發明涉及計算機技術領域，具體涉及一種基于容器的模型訓練測試調優和部署方法和一種基于容器的模型訓練測試調優和部署裝置。

背景技術

目前通過容器網絡匹配轉換的方式,為在容器外通過接口服務驅動算法訓練和測試程序提供了一種便捷，靈活的調用方式,目前的容器算法調試主要以jupyter notebook遠端調用的方式來執行，安全性和原有系統的兼容性上都差強人意。另外，目前的算法訓練參數和模型評估能力的對應關系主要依賴于開發者自行記錄，且不容易追溯模型訓練的調參和優化過程。

發明內容

本發明為解決上述技術問題，提供了一種基于容器的模型訓練測試調優和部署方法，能夠通過使用容器服務網格轉換的方式，提高了安全性，并且算法的請求為請求接口服務，不會出現無法嵌入原有系統的問題，同時將模型訓練的參數和訓練過程中訓練目標函數對應關系進行解析并存儲，便于根據模型的性能指標對模型參數逆向調優，此外，對模型訓練中間過程進行可視化展示，便于調試和訓練優化。

本發明采用的技術方案如下：

一種基于容器的模型訓練測試調優和部署方法，包括以下步驟：對模型訓練所在的容器環境部署service網格服務；通過模型訓練和測試算法驅動程序接收接口服務請求入參進行算法迭代；在模型訓練和測試算法迭代過程中，記錄算法迭代參數和訓練目標函數之間的關聯關系，并對訓練過程中的中間結果進行記錄和可視化顯示。

根據本發明的一個實施例，對模型訓練所在的容器環境部署service網格服務，包括：將容器的targetPort端口和路由服務的啟動端口設置為一致；配置容器內部的gateway端口為集群內路由轉發端口；配置資源選擇器；將所述容器的targetPort端口和所述集群內路由轉發端口進行綁定；通過容器接口服務傳遞模型訓練和測試參數。

根據本發明的一個實施例，上述的基于容器的模型訓練測試調優和部署方法，還包括：將所述模型接口服務集成到所述容器配置文件Dockerfile中；在所述容器配置文件Dockerfile中將啟動方式設置為后臺守護進程啟動，以使所述容器進行初始化。

根據本發明的一個實施例，通過模型訓練和測試算法驅動程序接收接口服務請求入參進行算法迭代，包括：對所述模型訓練和測試算法驅動程序進行入參的解析和類型規范，并將解析后的參數給模型訓練程序；控制所述模型訓練和測試算法驅動程序以異步線程提交的方式啟動模型訓練和測試主程序；控制所述模型訓練和測試主程序根據模型訓練和測試所需數據訓練集和測試集進行算法訓練和迭代。

根據本發明的一個實施例，所述模型訓練和測試算法驅動程序以異步線程提交的方式啟動模型訓練和測試主程序之后，還包括：記錄模型訓練和測試主程序的啟動狀態信息；將調用狀態返回到訓練測試請求端。

根據本發明的一個實施例，上述的基于容器的模型訓練測試調優和部署方法，還包括：判斷入參中的數據集參數信息是否成功掛載數據集中對應的bucket到訓練環境容器的存儲卷路徑；如果是，控制所述模型訓練和測試主程序根據模型訓練和測試所需數據訓練集和測試集進行算法訓練和迭代。