[發明專利]一種深度學習模型訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202011404833.6
• 申請日: 2020-12-04
• 公開（公告）號: CN112465048A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 趙仁明
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/20
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤;張元

1.一種深度學習模型訓練方法，其特征在于，所述方法包括：

將多個訓練節點均配置為使用各自的本地樣本數據進行模型訓練，并統計每一訓練節點的訓練次數；

響應于每次訓練完成，獲取本節點和其它節點的訓練次數，并將本節點訓練次數與其它節點訓練次數進行比較；

響應于其它節點訓練次數大于本節點訓練次數，則利用其它節點的模型參數更新本節點的模型參數，以及本節點使用更新后的模型參數和本地樣本數據進行模型訓練，并更新模型參數和訓練次數；

響應于其它節點訓練次數均小于等于本節點訓練次數，則利用本節點前一次訓練更新的模型參數和本地樣本數據進行模型訓練，并更新模型參數和訓練次數。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將本節點訓練次數與預設迭代次數進行比較；

響應于本節點訓練次數小于預設迭代次數，則返回獲取本節點和其它節點的訓練次數，并將本節點訓練次數與其它節點訓練次數進行比較的步驟；

響應于本節點訓練次等于預設迭代次數，結束本節點的模型訓練。

3.根據權利要求1所述的方法，其特征在于，所述獲取本節點和其它節點的訓練次數，并將本節點訓練次數與其它節點訓練次數進行比較的步驟包括：

響應于本節點完成前一次訓練，則本節點向其它節點發送訓練次數獲取請求，其中，所述訓練次數獲取請求包含本節點訓練次數；

其它節點接收所述訓練次數獲取請求，響應于其它節點訓練次數大于所述本節點訓練次數，則將其它節點訓練參數和訓練樣本數返回至本節點。

4.根據權利要求3所述的方法，其特征在于，所述利用其它節點的模型參數更新本節點的模型參數的步驟包括：

本節點從其它節點選擇一個目標節點；

獲取所述目標節點的訓練參數和訓練樣本數，以及多個訓練節點的總訓練樣本數；

對所述目標節點的訓練參數進行權重平均以得到的新模型參數，并使用新模型參數更新本節點的模型。

5.根據權利要求4所述的方法，其特征在于，所述對所述目標節點的訓練參數進行權重平均以得到的新模型參數的步驟中采用下述公式進行權重平均；

其中，a_i表示第i個訓練節點的訓練樣本數，a表示多個訓練節點的總訓練樣本數，Wⁱ表示第i個訓練節點的模型參數，W^S表示權重平均后的新模型參數。

6.根據權利要求4所述的方法，其特征在于，所述本節點從其它節點選擇一個目標節點的步驟包括：

所述其它節點將訓練次數返回至所述本節點；

響應于本節點收到多個其它節點返回的訓練參數和訓練樣本數，則本節點將最大訓練次數對應的某一其它訓練節點作為目標節點。

7.根據權利要求1-6任意一項所述的方法，其特征在于，每一訓練節點均配置為對本地樣本數據進行加密存儲。

8.一種深度學習模型訓練裝置，其特征在于，所述裝置包括：

配置模塊，用于將多個訓練節點均配置為使用各自的本地樣本數據進行模型訓練，并統計每一訓練節點的訓練次數；

比較模塊，用于響應于每次訓練完成，獲取本節點和其它節點的訓練次數，并將本節點訓練次數與其它節點訓練次數進行比較；

第一模型更新模塊，用于在其它節點訓練次數大于本節點訓練次數時，則利用其它節點的模型參數更新本節點的模型參數，以及本節點使用更新后的模型參數和本地樣本數據進行模型訓練，并更新模型參數和訓練次數；

第二模型更新模塊，用于在其它節點訓練次數均小于等于本節點訓練次數時，則利用本節點前一次訓練更新的模型參數和本地樣本數據進行模型訓練，并更新模型參數和訓練次數。

9.一種計算機設備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器中運行的計算機程序，所述處理器執行所述程序時執行權利要求1-7任意一項所述的方法。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時執行權利要求1-7任意一項所述的方法。