[發明專利]模型訓練方法和裝置

在審

• 申請號: 202110956777.5
• 申請日: 2021-08-19
• 公開（公告）號: CN113569987A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 胡俊琪;魏艷偉;朱小坤;牛文杰;李開榮;包勇軍
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F9/455;G06N20/00;G06F16/182
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 徐敏;楊倩

1.一種模型訓練方法，其特征在于，包括：

獲取模型訓練任務的訓練配置信息，所述訓練配置信息包括：角色信息、環境信息及算法配置信息；

根據所述角色信息，在容器平臺的集群上創建相應個數的容器；

根據所述環境信息，配置所述容器對應的節點的運行環境；

利用模型訓練框架，在所述節點上啟動所述算法配置信息對應的訓練模型；

利用所述容器平臺，調度所述容器，以使所述節點執行所述模型訓練任務。

2.根據權利要求1所述的方法，其特征在于，所述節點執行所述模型訓練任務，包括：

所述節點通過所述節點對應的容器向數據服務中心發送文件處理請求；

響應于所述文件處理請求，所述數據服務中心確定所述節點的下一批次文件信息，并將所述下一批次文件信息發送給所述節點；

所述節點獲取所述下一批次文件信息對應的下一批次訓練文件，并利用所述下一批次訓練文件執行所述模型訓練任務。

3.根據權利要求2所述的方法，其特征在于，所述數據服務中心設置有針對每個所述節點的隊列，所述隊列中的元素用于表征所述節點未完成訓練的訓練文件；

所述數據服務中心確定所述節點的下一批次文件信息，包括：

根據所述文件處理請求，所述數據服務中心確定所述節點對當前批次的訓練文件的處理狀態；

在所述處理狀態為處理成功的情況下，所述數據服務中心從所述節點對應的隊列中刪除目標元素，所述目標元素對應于所述當前批次的訓練文件；

所述數據服務中心從所述節點對應的隊列中，確定出所述節點的下一批次文件信息。

4.根據權利要求3所述的方法，其特征在于，所述根據所述文件處理請求，所述數據服務中心確定所述節點對當前批次的訓練文件的處理狀態之后，還包括：

在所述處理狀態為處理失敗的情況下，根據所述數據服務中心中所述節點對應的隊列中的元素，對所述節點進行容錯處理。

5.根據權利要求2所述的方法，其特征在于，所述數據服務中心設置有針對每個所述節點的隊列，所述隊列中的元素用于表征所述節點未完成訓練的訓練文件；

所述利用所述容器平臺，調度所述容器之后，還包括：

在系統出現故障的情況下，獲取所述數據服務中心中各所述節點對應的隊列中的元素；

根據各所述節點對應的隊列中的元素，對各所述節點進行容錯處理。

6.根據權利要求1所述的方法，其特征在于，所述角色信息包括：角色與節點的對應關系，所述角色包括以下至少之一：主節點、工作節點、參數服務器及數據中心；

所述根據所述角色信息，在容器平臺的集群上創建相應個數的容器，包括：

根據所述角色與節點的對應關系，在所述容器平臺的集群中的各節點上創建對應的容器。

7.根據權利要求1所述的方法，其特征在于，所述容器平臺采用kubernetes搭建，所述模型訓練框架采用tensorflow。

8.一種模型訓練裝置，其特征在于，包括：

信息獲取模塊，用于獲取模型訓練任務的訓練配置信息，所述訓練配置信息包括：角色信息、環境信息及算法配置信息；

容器創建模塊，用于根據所述角色信息，在容器平臺的集群上創建相應個數的容器；

環境配置模塊，用于根據所述環境信息，配置所述容器對應的節點的運行環境；

模型啟動模塊，用于利用模型訓練框架，在所述節點上啟動所述算法配置信息對應的訓練模型；

任務執行模塊，用于利用所述容器平臺，調度所述容器，以使所述節點執行所述模型訓練任務。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的方法。

10.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-7中任一所述的方法。