[發明專利]神經網絡的訓練方法及裝置

在審

• 申請號: 202010191111.0
• 申請日: 2020-03-18
• 公開（公告）號: CN113496267A
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 陳仙萍;秦勇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06T1/20
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 聶小培

1.一種神經網絡的訓練方法，其特征在于，包括：

控制電路確定第一處理層組合；其中，所述第一處理層組合包括多個處理層，所述多個處理層是從為訓練電路分配的處理層中選擇出來的，所述訓練電路的存儲容量滿足訓練過程中所述第一處理層組合對應的特征值的存儲需求；

所述控制電路向所述訓練電路發送第一信息；其中，所述第一信息用于指示所述訓練電路在執行前向訓練的過程中存儲所述第一處理層組合對應的特征值。

2.根據權利要求1所述的神經網絡的訓練方法，其特征在于，所述控制電路確定第一處理層組合，包括：

所述控制電路確定多個處理層組合；其中，所述訓練電路的存儲容量滿足訓練過程中所述多個處理層組合中的任一處理層組合對應的特征值的存儲需求；

所述控制電路將所述多個處理層組合中包含的處理層層數最多的一個或多個處理層組合，確定為第二處理層組合；

所述控制電路從所述第二處理層組合中選擇所述第一處理層組合。

3.根據權利要求2所述的神經網絡的訓練方法，其特征在于，所述第一處理層組合包含的處理層層數為：

其中，N為所述第一處理層組合的處理層層數，C_MAX為所述訓練電路的存儲容量，C₁為第一預留容量，C是為所述訓練電路分配的任一處理層的特征值存儲需求，為向下取整。

4.根據權利要求2或3所述的神經網絡的訓練方法，其特征在于，所述控制電路從所述第二處理層組合中選擇所述第一處理層組合，包括：

所述控制電路將所述第二處理層組合中第一訓練時長最短的處理層組合，確定為第一處理層組合；

其中，所述第一訓練時長包括特征值重計算時間；或者，

所述第一訓練時長包括前向訓練時間、反向訓練時間和特征值重計算時間。

5.根據權利要求4所述的神經網絡的訓練方法，其特征在于，所述為所述訓練電路分配的每個處理層的訓練時長相等；

所述神經網絡的訓練方法還包括：

所述控制電路根據如下公式，計算第一步長和第二步長：

其中，step1為所述第一步長，step2為所述第二步長，M是為所述訓練電路分配的處理層總層數，N為所述第一處理層組合中的處理層層數，為向下取整；

所述控制電路從第一步長和第二步長對應的處理層組合中，選擇所述第一訓練時長最短的處理層組合，作為第一處理層組合；或者，

所述控制電路從第一步長和第二步長對應的處理層組合中，選擇特征值重計算次數最小的處理層組合，作為第一處理層組合。

6.根據權利要求1-5任一項所述的神經網絡的訓練方法，其特征在于，所述訓練電路的存儲容量滿足訓練過程中所述第一處理層組合對應的特征值的存儲需求，包括：

所述訓練電路的存儲容量滿足訓練過程中所述第一處理層組合對應的特征值的存儲需求和第一預留容量；其中，所述第一預留容量用于存儲訓練過程中產生的中間數據。

7.根據權利要求1-6任一項所述的神經網絡的訓練方法，其特征在于，所述方法還包括：

若第一反向訓練層屬于所述第一處理層組合，則所述訓練電路基于所述第一反向訓練層的特征值，執行所述第一反向訓練層的反向訓練；

若所述第一反向訓練層不屬于所述第一處理層組合，則所述訓練電路確定所述第一反向訓練層的第一基準層，并基于所述第一基準層的特征值，執行所述第一反向訓練層的反向訓練；

其中，所述第一反向訓練層是為所述訓練電路分配的處理層中的任一處理層；所述第一基準層為所述第一處理層組合中前向訓練順序在所述第一反向訓練層之前，且與所述第一反向訓練層間隔的處理層數最小的處理層。