[發明專利]基于容器的模型訓練測試調優和部署方法和裝置

有效

• 申請號: 202011371610.4
• 申請日: 2020-11-30
• 公開（公告）號: CN112463301B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 張昭;韓錦;潘正頤;侯大為
• 申請（專利權）人: 常州微億智造科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 劉松

1.一種基于容器的模型訓練測試調優和部署方法，其特征在于，包括以下步驟：

對模型訓練所在的容器環境部署service網格服務；

通過模型訓練和測試算法驅動程序接收接口服務請求入參進行算法迭代；

在模型訓練和測試算法迭代過程中，記錄算法迭代參數和訓練目標函數之間的關聯關系，并對訓練過程中的中間結果進行記錄和可視化顯示，

通過模型訓練和測試算法驅動程序接收接口服務請求入參進行算法迭代，包括：對所述模型訓練和測試算法驅動程序進行入參的解析和類型規范，并將解析后的參數給模型訓練程序；控制所述模型訓練和測試算法驅動程序以異步線程提交的方式啟動模型訓練和測試主程序；控制所述模型訓練和測試主程序根據模型訓練和測試所需數據訓練集和測試集進行算法訓練和迭代，

所述模型訓練和測試算法驅動程序以異步線程提交的方式啟動模型訓練和測試主程序之后，還包括：記錄模型訓練和測試主程序的啟動狀態信息；將調用狀態返回到訓練測試請求端，

其中，還判斷入參中的數據集參數信息是否成功掛載數據集中對應的bucket到訓練環境容器的存儲卷路徑；如果是，控制所述模型訓練和測試主程序根據模型訓練和測試所需數據訓練集和測試集進行算法訓練和迭代。

2.根據權利要求1所述的基于容器的模型訓練測試調優和部署方法，其特征在于，對模型訓練所在的容器環境部署service網格服務，包括：

將容器的targetPort端口和路由服務的啟動端口設置為一致；

配置容器內部的gateway端口為集群內路由轉發端口；

配置資源選擇器；

將所述容器的targetPort端口和所述集群內路由轉發端口進行綁定；

通過容器接口服務傳遞模型訓練和測試參數。

3.根據權利要求2所述的基于容器的模型訓練測試調優和部署方法，其特征在于，還包括：

將所述模型接口服務集成到所述容器配置文件Dockerfile中；

在所述容器配置文件Dockerfile中將啟動方式設置為后臺守護進程啟動，以使所述容器進行初始化。

4.根據權利要求1所述的基于容器的模型訓練測試調優和部署方法，其特征在于，在模型訓練和測試算法迭代過程中，記錄算法迭代參數和訓練目標函數之間的關聯關系，并對訓練過程中的中間結果進行記錄和可視化顯示，包括：

在模型程序訓練和測試過程中，對中間每輪迭代所對應的評價結果進行記錄；

將模型迭代過程中的迭代參數和訓練目標函數映射關系解析存儲到數據庫；

將評價結果繪制成曲線，放置到所述容器外部，以便進行參數調優和網絡優化。

5.根據權利要求4所述的基于容器的模型訓練測試調優和部署方法，其特征在于，所述評價結果包括：ROC曲線下的面積、精準率、預測、召回率中的一個或多個。

6.根據權利要求1所述的基于容器的模型訓練測試調優和部署方法，其特征在于，還包括：

將模型預測結果輸入數據集泛化測試流程，以便于模型篩選和模型部署。

7.一種基于容器的模型訓練測試調優和部署裝置，其特征在于，包括：

部署模塊，用于對模型訓練所在的容器環境部署service網格服務；

接收模塊，用于通過模型訓練和測試算法驅動程序接收接口服務請求入參進行算法迭代；

記錄模塊，用于在模型訓練和測試算法迭代過程中，記錄算法迭代參數和訓練目標函數之間的關聯關系，并對訓練過程中的中間結果進行記錄和可視化顯示，

所述接收模塊具體用于：對模型訓練和測試算法驅動程序進行入參的解析和類型規范，并將解析后的參數給模型訓練程序；控制模型訓練和測試算法驅動程序以異步線程提交的方式啟動模型訓練和測試主程序；控制模型訓練和測試主程序根據模型訓練和測試所需數據訓練集和測試集進行算法訓練和迭代，

接收模塊在模型訓練和測試算法驅動程序以異步線程提交的方式啟動模型訓練和測試主程序之后，還用于：記錄模型訓練和測試主程序的啟動狀態信息；將調用狀態返回到訓練測試請求端，

其中，接收模塊還用于判斷入參中的數據集參數信息是否成功掛載數據集中對應的bucket到訓練環境容器的存儲卷路徑；如果是，控制模型訓練和測試主程序根據模型訓練和測試所需數據訓練集和測試集進行算法訓練和迭代。