[發明專利]一種模型訓練方法及相關設備

在審

• 申請號: 202011063706.4
• 申請日: 2020-09-30
• 公開（公告）號: CN112541159A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 任曉哲;尹伊淳;蔣欣
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06F7/523;G06F7/544;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 李杭

1.一種模型訓練方法，其特征在于，所述方法包括：

獲取待訓練的第一神經網絡模型，所述第一神經網絡模型包括第一算子，所述第一算子用于將輸入數據與目標權重矩陣進行乘積運算；

將所述第一神經網絡模型中的所述第一算子替換為第二算子，以得到第二神經網絡模型，其中，所述第二算子用于將輸入數據與多個子權重矩陣進行乘積運算，所述多個子權重矩陣為對所述目標權重矩陣進行矩陣分解得到的；

對所述第二神經網絡模型進行模型訓練，得到目標神經網絡模型。

2.根據權利要求1所述的方法，其特征在于，處理相同數量的訓練數據時，所述第一神經網絡模型所需的時間大于所述第二神經網絡模型所需的時間。

3.根據權利要求1或2所述的方法，其特征在于，所述多個子權重矩陣包括第一子權重矩陣和第二子權重矩陣，在將輸入數據與多個子權重矩陣進行乘積運算的過程中，所述第一子權重矩陣和所述第二子權重矩陣為所述多個子權重矩陣中任意兩個相乘的矩陣，所述第一子權重矩陣的列的尺寸和所述第二子權重矩陣的行的尺寸相同。

4.根據權利要求3所述的方法，其特征在于，所述多個子權重矩陣包括矩陣1、矩陣2、…、矩陣N-1以及矩陣N，所述第二算子用于進行如下運算：M*矩陣1*矩陣2*…*矩陣N-1*矩陣N，其中，所述M表示輸入數據，所述*表示相乘；

所述目標權重矩陣的行的尺寸和所述矩陣1的行的尺寸相同，所述目標權重矩陣的列的尺寸和所述矩陣N的列的尺寸相同。

5.根據權利要求1至4任一所述的方法，其特征在于，所述多個子權重矩陣中每個子權重矩陣的行的尺寸小于或等于所述目標權重矩陣的行的尺寸，所述多個子權重矩陣中每個子權重矩陣的列的尺寸小于或等于所述目標權重矩陣的列的尺寸。

6.根據權利要求1至5任一所述的方法，其特征在于，所述方法還包括：

獲取目標矩陣拆分尺寸，所述目標矩陣拆分尺寸表示所述多個子權重矩陣中每個子權重矩陣的行的尺寸和/或列的尺寸；

根據所述目標矩陣拆分尺寸和所述目標權重矩陣，確定所述多個子權重矩陣。

7.根據權利要求6所述的方法，其特征在于，所述目標矩陣拆分尺寸包括a1、a2、…、an-1以及an，所述目標權重矩陣的尺寸為P*Q，相應的，所述多個子權重矩陣的尺寸為P*a1、a1*a2、…、an-1*an以及an*Q。

8.根據權利要求6或7所述的方法，其特征在于，所述獲取目標矩陣拆分尺寸，包括：

獲取多個候選的矩陣拆分尺寸；

所述根據所述目標矩陣拆分尺寸和所述目標權重矩陣，確定所述多個子權重矩陣包括：

根據所述多個候選的矩陣拆分尺寸和所述目標權重矩陣，確定多組候選的子權重矩陣，每組候選的子權重矩陣為基于一個候選的矩陣拆分尺寸和所述目標權重矩陣得到的；

所述將所述第一神經網絡模型中的所述第一算子替換為第二算子，以得到第二神經網絡模型包括：

基于所述多組候選的子權重矩陣，獲取多個候選的神經網絡模型；其中，每個候選的神經網絡模型包括與所述第一算子對應的候選算子，每個所述候選算子包括一組候選的子權重矩陣；

對所述多個候選的神經網絡模型進行訓練，并從所述多個候選的神經網絡模型中選擇數據處理精度滿足預設條件，且在進行訓練時處理相同數量的訓練數據所需的時間最小的候選的神經網絡模型作為所述第二神經網絡模型。

9.根據權利要求8所述的方法，其特征在于，所述目標權重矩陣的尺寸為P*Q，所述多個候選的矩陣拆分尺寸中任意一個矩陣拆分尺寸包括b1、b2、…、bn-1以及bn，所述任意一個候選矩陣拆分尺寸對應的一組候選的子權重矩陣為P*b1、b1*b2、…、bn-1*bn以及bn*Q。