[發明專利]一種模型訓練方法及裝置

在審

• 申請號: 202010762709.0
• 申請日: 2020-07-31
• 公開（公告）號: CN112070207A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 廖億;蔣欣;陳曉;錢莉;劉群
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 李杭

1.一種模型訓練方法，其特征在于，所述方法包括：

向第一設備發送第一子模型；其中，所述第一子模型為對待訓練模型進行壓縮得到的；

接收所述第一設備發送的第一梯度，所述第一梯度為所述第一設備訓練所述第一子模型時得到的；

至少基于所述第一梯度，對所述待訓練模型進行模型訓練，以得到更新后的待訓練模型。

2.根據權利要求1所述的方法，其特征在于，存儲所述第一子模型所需的存儲資源小于存儲所述待訓練模型所需的存儲資源。

3.根據權利要求1或2所述的方法，其特征在于，運行所述第一子模型時所需的計算資源小于運行所述待訓練模型時所需的計算資源。

4.根據權利要求3所述的方法，其特征在于，所述計算資源至少包括如下的一種：內存資源、顯存資源或CPU資源。

5.根據權利要求1至4任一所述的方法，其特征在于，所述第一子模型為對待訓練模型進行如下至少一種處理方式得到的：剪枝、知識蒸餾或量化。

6.根據權利要求1至5任一所述的方法，其特征在于，所述至少基于所述第一梯度，對所述待訓練模型進行模型訓練，包括：

基于所述第一梯度，對所述第一子模型進行訓練，得到更新后的第一子模型；

至少以所述更新后的第一子模型作為老師模型，所述待訓練模型為學生模型，對所述待訓練模型進行知識蒸餾，以得到更新后的待訓練模型。

7.根據權利要求1至6任一所述的方法，其特征在于，所述方法還包括：

獲取所述第一設備的數據處理能力，所述數據處理能力包括以下至少一種：可使用的存儲資源或可使用的計算資源；

基于第一映射關系，獲取所述第一設備對應的第一子模型；其中，所述第一映射關系包括數據處理能力與子模型之間的對應關系，且在所述第一映射關系中，所述第一設備的數據處理能力對應于所述第一子模型。

8.根據權利要求1至7任一所述的方法，其特征在于，所述方法還包括：

向第二設備發送第二子模型；其中，所述第二子模型為對待訓練模型進行壓縮得到的，且所述第二子模型與所述第一子模型不同；

接收所述第二設備發送的第二梯度，所述第二梯度為所述第二設備訓練所述第二子模型時得到的；

所述至少基于所述第一梯度，對所述待訓練模型進行模型訓練，包括：

基于所述第一梯度和所述第二梯度，對所述待訓練模型進行模型訓練，以得到更新后的待訓練模型。

9.根據權利要求8所述的方法，其特征在于，所述第一設備與所述第二設備的數據處理能力不同，所述數據處理能力包括以下至少一種：可使用的存儲資源或可使用的計算資源。

10.根據權利要求8或9所述的方法，其特征在于，存儲所述第一子模型和所述第二子模型所需的存儲資源大小不同。

11.根據權利要求8至10任一所述的方法，其特征在于，運行所述第一子模型和所述第二子模型時所需的計算資源大小不同。

12.根據權利要求8至11任一所述的方法，其特征在于，所述第二子模型為對待訓練模型進行如下至少一種處理方式得到的：剪枝、知識蒸餾或量化。

13.根據權利要求8至12任一所述的方法，其特征在于，所述基于所述第一梯度和所述第二梯度，對所述待訓練模型進行模型訓練，包括：

基于所述第一梯度，對所述第一子模型進行訓練，得到更新后的第一子模型；

基于所述第二梯度，對所述第二子模型進行訓練，得到更新后的第二子模型；

以所述更新后的第一子模型和所述更新后的第二子模型作為老師模型，所述待訓練模型為學生模型，對所述待訓練模型進行知識蒸餾，以得到更新后的待訓練模型。