[發(fā)明專利]一種基于存儲陣列的神經(jīng)網(wǎng)絡的訓練方法

有效

• 申請?zhí)枺?/td>: 201711446484.2
• 申請日: 2017-12-27
• 公開（公告）號: CN108053029B
• 公開（公告）日: 2021-08-27
• 發(fā)明（設計）人: 張睿
• 申請（專利權(quán)）人: 上海閃易半導體有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種基于存儲陣列的神經(jīng)網(wǎng)絡的訓練方法，利用多個存儲陣列進行神經(jīng)網(wǎng)絡的訓練，各所述存儲陣列分別用于神經(jīng)網(wǎng)絡各層之間的矩陣運算，各所述存儲陣列由包括非易失性存儲器的存儲單元構(gòu)成，所述存儲陣列中的存儲數(shù)據(jù)用于表征層之間的連接權(quán)重，其特征在于，所述訓練方法包括：

進行多次樣本訓練，直到輸出誤差收斂；

其中，每次樣本訓練中各存儲陣列的連接權(quán)重的參數(shù)修改包括：

按照預設的第一連續(xù)區(qū)間與第一離散值的映射關(guān)系，將該存儲陣列前向傳播的輸入數(shù)據(jù)進行離散化，以獲得輸入離散值；

按照預設的第二連續(xù)區(qū)間與第二離散值的映射關(guān)系，將該存儲陣列反向傳播的誤差數(shù)據(jù)進行離散化，以獲得誤差離散值，所述第一連續(xù)區(qū)間或所述第二連續(xù)區(qū)間中的一個至少包括三個連續(xù)的區(qū)間；

根據(jù)權(quán)重變化量正比于所述前向傳播的輸入數(shù)據(jù)與所述反向傳播的誤差數(shù)據(jù)的乘積的相反數(shù)，通過所述輸入離散值和所述誤差離散值，確定連接權(quán)重的修改條件，所述修改條件為預設的擦操作偏置、寫操作偏置或不操作偏置；

按照所述修改條件，將相應的非易失性存儲器進行偏置。

2.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，所述第一連續(xù)區(qū)間包括一個零值區(qū)間和至少一個正值區(qū)間，所述第一離散值的數(shù)值隨著所述第一連續(xù)區(qū)間的區(qū)間數(shù)值的增大而增大且數(shù)值符號為相應區(qū)間的符號；所述第二連續(xù)區(qū)間包括至少一個正值區(qū)間、零值區(qū)間和至少一個負值區(qū)間，所述第二離散值的數(shù)值隨著所述第二連續(xù)區(qū)間的區(qū)間數(shù)值的增大而增大且數(shù)值符號為相應區(qū)間的符號。

3.根據(jù)權(quán)利要求2所述的訓練方法，其特征在于，所述第一連續(xù)區(qū)間還包括至少一個負值區(qū)間。

4.根據(jù)權(quán)利要求2或3所述的訓練方法，其特征在于，所述通過所述輸入離散值和所述誤差離散值，確定連接權(quán)重的修改條件，包括：

通過所述輸入離散值和所述誤差離散值乘積的相反數(shù)，確定連接權(quán)重的修改條件。

5.根據(jù)權(quán)利要求4所述的訓練方法，其特征在于，所述擦操作偏置和寫操作偏置包括多個等級，等級越高則修改幅度越大；則，

通過所述輸入離散值和所述誤差離散值乘積的相反數(shù)，確定連接權(quán)重的修改條件，包括：

通過所述輸入離散值和所述誤差離散值乘積的相反數(shù)，確定連接權(quán)重的修改條件的類型；

根據(jù)所述輸入離散值和所述誤差離散值的乘積的絕對值，選擇所述修改條件的類型中的等級，較大的絕對值對應較高的等級。

6.根據(jù)權(quán)利要求4所述的訓練方法，其特征在于，不同的擦操作偏置的等級對應于不同的擦操作電壓脈沖值和/或不同的擦操作電壓脈沖時長和/或不同的擦操作電壓脈沖個數(shù)；不同的寫操作偏置的等級對應于不同的寫操作電壓脈沖值和/或 不同的寫操作電壓脈沖時長和/或不同的寫操作電壓脈沖個數(shù)。

7.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，所述修改條件使得修改變化量小于所述非易失性存儲器總電導變化范圍的百分之十。

8.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，按照所述修改條件，將相應的非易失性存儲器進行偏置，包括：

按照所述修改條件，將具有相同修改條件的所述存儲陣列中的非易失存儲器同時進行偏置。

9.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，每個所述存儲陣列中，第一方向上每一條非易失性存儲器的第一源漏極電連接第一電連線，第二方向上每一條非易失性存儲器的第二源漏極電連接第二電連線，第一方向或第二方向上每一條非易失性存儲器的柵極電連接第三電連線；

所述第一電連線用于加載前向傳播中的輸入信號，所述第二電連線用于輸出所述前向傳播中的輸出信號；所述第二電連線用于加載反向傳播中的輸入信號，所述第一電連線用于輸出所述反向傳播中的輸出信號。