[發明專利]神經網絡模型的訓練方法及其介質和電子設備

在審

• 申請號: 202010086380.0
• 申請日: 2020-02-11
• 公開（公告）號: CN111401546A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 劉默翰;周力;白立勛;石文元;俞清華;隋志成
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 上海音科專利商標代理有限公司 31267
• 代理人: 夏峰

1.一種神經網絡模型的訓練方法，其特征在于，所述神經網絡模型包括n個網絡層，n為大于1的正整數；并且

所述方法包括：

所述n個網絡層中的第一個網絡層獲取樣本數據，并將所述樣本數據輸入到第二個網絡層，其中，所述樣本數據包括初始輸入數據和期望結果數據；

對于所述n個網絡層中的第i個網絡層，執行如下操作：

當i＝2時，基于所述初始輸入數據和第i個網絡層的多個初始權重得到第i個網絡層的輸出數據，

當2i≤n時，基于第i-1個網絡層的輸出數據和第i個網絡層的多個初始權重得到第i個網絡層的輸出數據，其中，

所述第i個網絡層的所述多個初始權重是基于m個離散值得到的，其中，所述多個初始權重的數值范圍為且m＝{2，3}；

基于所述n個網絡層的輸出數據和所述樣本數據中的期望結果數據之間的誤差，對所述第i個網絡層的所述多個初始權重進行調節。

2.如權利要求1所述的方法，其特征在于，所述第i個網絡層的所述多個初始權重中的每一個為m個離散值中的一個。

3.如權利要求2所述的方法，其特征在于，所述m個離散值為-1和1，并且所述第i個網絡層的所述多個初始權重的均值為0，方差為1。

4.如權利要求2所述的方法，其特征在于，所述m個離散值為-1、0和1，并且所述第i個網絡層的所述多個初始權重的均值為0，方差為2/3。

5.如權利要求1所述的方法，其特征在于，所述第i個網絡層具有p個初始權重并且所述第i個網絡層的所述p個初始權重通過以下公式計算：

其中，W^b為所述m個離散值中的一個，所述W^b的數值范圍為-1≤W^b≤1，并且對應所述p個初始權重的p個W^b的均值為0，方差為1或2/3；α為縮放因子并且是小于1的正數，用于調整所述第i個網絡層的輸出數據的分布。

6.如權利要求5所述的方法，其特征在于，對應所述p個初始權重的p個W^b的方差為1，并且所述m個離散值為-1和1。

7.如權利要求5所述的方法，其特征在于，對應所述p個初始權重的p個W^b的方差為2/3，所述m個離散值為-1、0和1。

8.如權利要求5至7中任一項所述的方法，其特征在于，所述縮放因子通過下列公式獲得：

其中，W_j^b為所述p個W^b中對應所述p個初始權重中的第j個初始權重的離散值，為所述第i個網絡層的p個W^b的平均值，l_i為所述第i個網絡層的輸入通道數。

9.如權利要求1所述的方法，其特征在于，所述第i個網絡層的所述多個初始權重通過以下公式計算：

其中，W^t為所述第i個網絡層前一次訓練所確定的多個權重中的任意一個，所述W^t的數值范圍為-1≤W^t≤1，α為縮放因子并且是小于1的正數，用于調整所述第i個網絡層的輸出數據的分布。

10.如權利要求9所述的方法，其特征在于，所述縮放因子通過下列公式獲得：

其中，p為所述第i個網絡層前一次訓練所確定的權重的數量，表示p個前一次訓練所確定的權重中的第j個權重，為所述p個前一次訓練所確定的權重的平均值。

11.如權利要求5或9所述的方法，其特征在于，所述縮放因子通過下列公式獲得：

其中，l_i為所述第i個網絡層的輸入通道數，l_i+1為第i+1個網絡層的輸入通道數。