[發明專利]一種基于Docker鏡像構建模型訓練任務調度的方法及系統

在審

• 申請號: 202211061721.4
• 申請日: 2022-08-31
• 公開（公告）號: CN115543557A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 李森林;郝江波;周明;黃昌進
• 申請（專利權）人: 武漢光庭信息技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/455
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 萬暢

1.一種基于Docker鏡像構建模型訓練任務調度的方法，其特征在于，所述構建模型訓練任務調度的方法包括：

建立模型訓練環境的Docker鏡像；

使每個模型訓練任務對應為所述Docker鏡像啟動的一個或多個獨立的Docker容器，基于Docker容器中的日志輸出信息和服務器系統信息對各個所述模型訓練任務的訓練過程信息進行監控；

構建調度管理平臺，所述調度管理平臺定時獲取各個所述Docker容器的狀態，并對所述訓練過程信息中的重要信息進行通知或展示。

2.根據權利要求1所述的構建方法，其特征在于，所述建立模型訓練環境的Docker鏡像包括：

通過編寫Dockerfile文件制作鏡像，選擇當前模型訓練對應的基礎鏡像以及對應的環境插件，進行鏡像制作并上傳倉庫。

3.根據權利要求1所述的構建模型訓練任務調度的方法，其特征在于，所述使每個模型訓練任務對應為所述Docker鏡像啟動的一個或多個獨立的Docker容器的方法包括：

新建所述模型訓練任務時，指定在一臺或多臺資源服務器上創建所述Docker容器；

創建所述Docker容器的過程包括：通過配置化的方式指定所述Docker容器創建參數，所述Docker容器的創建參數包括：鏡像路徑名稱、啟動入口文件、數據集路徑、算法路徑以及運行環境的指定。

4.根據權利要求1所述的構建模型訓練任務調度的方法，其特征在于，所述創建Docker容器的過程包括：

從倉庫拉取對應的Docker鏡像文件，自動創建并啟動Docker容器運行，在創建Docker容器的參數中，指定模型訓練需要的訓練信息，所述訓練信息包括：數據集、算法以及算法啟動命令文件。

5.根據權利要求1所述的構建方法，其特征在于，對各個所述模型訓練任務的訓練過程信息進行監控的內容包括：基于Docker容器中的日志輸出信息和服務器系統信息得到的服務器的資源負載信息、所述Docker容器的運行狀態以及所述模型訓練任務的進度信息，所述模型訓練任務的進度信息包括：內部迭代次數、外部迭代次數、訓練損失和訓練模型精度。

6.根據權利要求1所述的構建模型訓練任務調度的方法，其特征在于，所述訓練過程信息中的重要信息包括：所述模型訓練任務完成以及所述模型訓練任務異常中止。

7.根據權利要求1所述的構建模型訓練任務調度的方法，其特征在于，所述調度管理平臺還包括：接受訓練人員輸入的啟動或中斷正在進行的任意所述模型訓練任務后，通過操作所述模型訓練任務對應的所述Docker容器的啟停來管理所述模型訓練任務的啟停。

8.一種基于Docker鏡像構建模型訓練任務調度的系統，其特征在于，所述構建模型訓練任務調度的系統包括：Docker鏡像建立模塊和調度管理平臺；

所述Docker鏡像建立模塊用于建立模型訓練環境的Docker鏡像；使每個模型訓練任務對應為所述Docker鏡像啟動的一個或多個獨立的Docker容器，基于Docker容器中的日志輸出信息和服務器系統信息對各個所述模型訓練任務的訓練過程信息進行監控；

所述調度管理平臺定時獲取各個所述Docker容器的狀態，并對所述訓練過程信息中的重要信息進行通知或展示。

9.一種電子設備，其特征在于，包括存儲器、處理器，所述處理器用于執行存儲器中存儲的計算機管理類程序時實現如權利要求1-7任一項所述的基于Docker鏡像構建模型訓練任務調度的方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機管理類程序，所述計算機管理類程序被處理器執行時實現如權利要求1-7任一項所述的基于Docker鏡像構建模型訓練任務調度的方法的步驟。