[發明專利]神經網絡的訓練方法及裝置

在審

• 申請號: 201910407634.1
• 申請日: 2019-05-16
• 公開（公告）號: CN111950689A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 胡丁晟;何雷駿;徐斌
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

1.一種神經網絡的訓練方法，其特征在于，所述神經網絡包括多個處理層，所述多個處理層包括第一處理層以及一個或多個后級處理層；所述神經網絡的訓練方法由所述第一處理層執行；所述神經網絡的訓練方法包括：

將經過預處理后的第一訓練數據量化為第二訓練數據；其中，所述第一訓練數據為所述第一處理層的前一層的輸出數據；所述第二訓練數據的位寬小于所述第一訓練數據的位寬；

將第一權重矩陣量化為第二權重矩陣；其中，所述第二權重矩陣的位寬小于所述第一權重矩陣的位寬；

利用所述第二訓練數據和所述第二權重矩陣，得到第一中間結果；其中，所述第一中間結果依次經過所述一個或多個后級處理層處理后，最終得到第一回傳誤差；

接收第二回傳誤差；其中，所述第二回傳誤差為所述第一回傳誤差經過所述一個或多個后級處理層處理后得到的誤差；

將所述第二回傳誤差量化為第三回傳誤差；其中，所述第三回傳誤差的位寬小于所述第二回傳誤差的位寬；

利用所述第二訓練數據和所述第三回傳誤差，計算第三權重矩陣；其中，所述第三權重矩陣作為下次訓練的正向過程中輸入的第一權重矩陣，且所述第三權重矩陣的位寬與所述第一權重矩陣的位寬相同。

2.根據權利要求1所述的神經網絡的訓練方法，其特征在于，所述將經過預處理后的第一訓練數據量化為第二訓練數據，包括：

根據第一飽和閾值，將所述第一訓練數據量化為所述第二訓練數據。

3.根據權利要求1或2所述的神經網絡的訓練方法，其特征在于，所述神經網絡的訓練方法還包括：

利用所述第二權重矩陣和所述第三回傳誤差，計算第四回傳誤差；其中，所述第四回傳誤差為所述第一處理層的前一層的回傳誤差。

4.根據權利要求2所述的神經網絡的訓練方法，其特征在于，所述神經網絡的訓練方法還包括：

根據所述第二訓練數據、所述第一飽和閾值和所述第三回傳誤差，確定閾值更新量；

根據所述第一飽和閾值和所述閾值更新量，計算第二飽和閾值；其中，所述第二飽和閾值用于量化下次訓練中使用的訓練數據。

5.根據權利要求4所述的神經網絡的訓練方法，其特征在于，所述根據所述第二訓練數據、所述第一飽和閾值和所述第三回傳誤差，確定閾值更新量，包括：

將所述第二訓練數據中等于所述第一飽和閾值的訓練數據對應的第三回傳誤差的累加和，確定為所述閾值更新量。

6.根據權利要求4或5所述的神經網絡的訓練方法，其特征在于，所述根據所述第一飽和閾值和所述閾值更新量，計算第二飽和閾值，包括：

根據如下公式，計算所述第二飽和閾值：

t₂＝t₁-r_t×t_update，

其中，t₂為所述第二飽和閾值，t₁為所述第一飽和閾值，t_update為所述閾值更新量，r_t為閾值學習率，0＜r_t＜1。

7.根據權利要求1-6中任一項所述的神經網絡的訓練方法，其特征在于，所述利用所述第二訓練數據和所述第二權重矩陣，得到第一中間結果，包括：

利用所述第二訓練數據和所述第二權重矩陣，基于卷積處理，得到所述第一中間結果。