[發明專利]深度神經網絡學習方法、處理器和深度神經網絡學習系統

有效

• 申請號: 201510270301.0
• 申請日: 2015-05-25
• 公開（公告）號: CN104899641B
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 陳海波;吳偉;李曉燕
• 申請（專利權）人: 杭州朗和科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 張旭東

1.一種深度神經網絡學習方法，包括：

多個處理器并行地對分配至自身的數據，在深度神經網絡模型的多個層上從首層到末層逐層進行正向處理、并在正向處理結束時獲得誤差信息；

所述多個處理器對所述誤差信息從所述末層到所述首層逐層進行反向處理，其中，所述多個處理器中的每個處理器在其深度神經網絡模型的當前層的反向處理產生參數修正量后，隨即向其他處理器傳遞所述參數修正量，其中，所述參數修正量是在深度神經網絡模型訓練的反向處理過程中所產生的用于更新深度神經網絡模型參數的修正量；

其中，所述多個處理器對所述數據從所述末層到所述首層逐層進行反向處理，包括：

所述多個處理器針對當前層先根據輸入至當前層的誤差信息計算所述參數修正量，然后再計算傳遞給下一層的誤差信息；

其中，所述參數修正量包括多個相互獨立的部分，并且

所述多個處理器針對當前層先根據輸入至當前層的誤差信息計算所述參數修正量，包括：所述多個處理器中的每個處理器針對當前層，根據輸入至當前層的誤差信息，逐一計算所述參數修正量的各個相互獨立的部分，并在完成每個所述部分的計算后隨即向其他處理器傳遞該部分；

其中，所述多個相互獨立的部分包括權重矩陣修正量和偏置向量修正量。

2.根據權利要求1所述的方法，還包括：

所述多個處理器中的每個處理器在獲得所述多個處理器中除自身之外的所有其他處理器傳遞的當前層的參數修正量后，結合自身的當前層的參數修正量，更新自身的所述深度神經網絡模型當前層的參數。

3.一種處理器，包括：

正向處理單元，用于對分配至該處理器自身的數據，在深度神經網絡模型的多個層上從首層到末層逐層進行正向處理、并在正向處理結束時獲得誤差信息；

反向處理單元，用于對所述誤差信息從所述末層到所述首層逐層進行反向處理，其中，在深度神經網絡模型的當前層的反向處理產生參數修正量后，隨即向并行運算的其他處理器傳遞所述參數修正量，其中，所述參數修正量是在深度神經網絡模型訓練的反向處理過程中所產生的用于更新深度神經網絡模型參數的修正量；

其中，所述反向處理單元具體用于針對當前層先根據輸入至當前層的誤差信息計算所述參數修正量，然后再計算傳遞給下一層的誤差信息；

其中，所述參數修正量包括多個相互獨立的部分，并且所述反向處理單元針對當前層，根據輸入至當前層的誤差信息，逐一計算所述參數修正量的各個相互獨立的部分，并在完成每個所述部分的計算后隨即向其他處理器傳遞該部分；

其中，所述多個相互獨立的部分包括權重矩陣修正量和偏置向量修正量。

4.根據權利要求3所述的處理器，還包括：

更新單元，用于在獲得所有并行運算的其他處理器傳遞的當前層的參數修正量后，隨即結合該處理器自身的當前層的參數修正量，更新自身的所述深度神經網絡模型當前層的參數。

5.一種深度神經網絡學習系統，包括：并行運算的多個如權利要求3或4所述的處理器。