[發明專利]人工神經網絡的訓練

有效

• 申請號: 201880069287.X
• 申請日: 2018-10-23
• 公開（公告）號: CN111279366B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: M·勒加洛-布爾多;A·塞巴斯蒂安;I·博伊巴特·卡拉;E·S·埃勒夫塞里奧;N·薩西德哈蘭·拉賈勒克什米
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/084
• 分類號: G06N3/084;G06N3/063;G06N3/048;G06N3/047;G06F18/2415
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

1.一種用于訓練人工神經網絡的方法，所述人工神經網絡具有一系列的神經元層和一組憶阻器件的交叉式陣列，所述交叉式陣列連接在行線和列線之間，實現插入所述神經元層的突觸層，由此每個憶阻器件存儲將連續的神經元層中相應的一對神經元互連的突觸的權重所述方法包括通過以下步驟來執行迭代訓練方案的前向傳播、后向傳播和權重更新操作：

在所述方案的前向傳播和后向傳播操作中的至少一個中，將與相應神經元相關聯的輸入信號施加到該組陣列的行線和列線中的一種線，以獲得所述行線和列線中的另一種線上的輸出信號；

將對應于所述輸入信號和輸出信號的數字信號值存儲在可操作地耦合到該組陣列的數字處理單元中；以及

通過在所述數字處理單元中根據所述數字信號值為相應憶阻器件計算數字權重校正值ΔW，并將編程信號施加到這些器件以根據相應數字權重校正值ΔW更新所存儲的權重來執行所述方案的權重更新操作，

所述方法還包括：在所述數字處理單元中，以預定步長ε舍入每個權重校正值ΔW以產生舍入校正值其中施加到憶阻器件的所述編程信號將所存儲的權重調整取決于該器件的舍入校正值的量。

2.如權利要求1所述的方法，包括在前向傳播操作中，將所述輸入信號施加到該組陣列的行線以獲得列線上的輸出信號。

3.如權利要求2所述的方法，包括在后向傳播操作中，將所述輸入信號施加到該組陣列的列線，以獲得行線上的輸出信號。

4.如權利要求1所述的方法，其中所述數字權重校正值由數字處理單元以至少16位的精度計算。

5.如權利要求1所述的方法，包括：

在所述數字處理單元中，存儲與相應憶阻器件所存儲的權重相對應的數字權重值；以及

在權重更新操作中，在數字處理單元中根據針對每個器件存儲的數字權重值和數字權重校正值ΔW來計算針對各個器件的新的數字權重值；

其中，施加到憶阻器件的所述編程信號取決于該器件的新的數字權重值。

6.如權利要求5所述的方法，其特征在于，在所述權重更新操作中包括：

讀取相應憶阻器件所存儲的權重以及

在數字處理單元中計算一個器件的所述新的數字權重值與該器件的被讀取權重之間的差值；

其中施加到憶阻器件的所述編程信號將所存儲的權重調整取決于該器件的所述差值的量。

7.如權利要求5所述的方法，包括在權重更新操作中，基于每個器件的新的數字權重值施加所述編程信號以重新編程該器件。

8.如權利要求5所述的方法，其中所述數字權重值由所述數字處理單元以至少16位的精度存儲。

9.如權利要求1所述的方法，包括在所述數字處理單元中存儲相應憶阻器件的數字累積值，并且在所述權重更新操作中：

在所述數字處理單元中，根據每個器件的權重校正值ΔW和存儲的累積值來計算相應憶阻器件的更新累積值，并根據每個器件的更新累積值來確定權重調整量，其中施加到憶阻器件的所述編程信號將存儲的權重調整與該器件的權重調整量相對應的量；以及

在所述數字處理單元中，通過從每個器件的所述更新累積值中減去所述權重調整量來計算各個器件的新的數字累積值。

10.如權利要求9所述的方法，包括在所述數字處理單元中，通過以表示所述器件響應于預定編程脈沖的施加的權重變化的預定步長ε來舍入每個憶阻器件的更新后的累積值以獲得待施加到所述器件的編程脈沖的數量n，來確定所述權重調整量，其中施加到該憶阻器件的編程信號包括n個所述脈沖。

11.如權利要求9所述的方法，包括：

在所述數字處理單元中，將每個憶阻器件的更新后的累積值與預定閾值進行比較，所述預定閾值取決于表示響應于預定編程脈沖的施加的所述器件的權重變化的步長ε；以及

如果器件的所述更新的累積值超過所述閾值，則將所述編程脈沖作為所述編程信號施加到該器件。