[發明專利]基于憶阻器陣列的神經網絡的訓練方法和裝置

在審

• 申請號: 202011000848.6
• 申請日: 2020-09-22
• 公開（公告）號: CN112101549A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 高濱;周穎;唐建石;吳華強;錢鶴
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G11C13/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

1.一種基于憶阻器陣列的神經網絡的訓練方法，其中，所述神經網絡包括逐一連接的多層神經元層以及在所述多層神經元層之間的權重參數矩陣，所述方法包括：

獲取所述神經網絡的權重參數矩陣中元素的更新值；

判斷所述神經網絡當前所處的訓練階段，其中，所述訓練階段包括在時間上依次排列的第一訓練階段和第二訓練階段；

基于所述神經網絡當前所處的訓練階段和所述更新值，確定向所述憶阻器陣列中的憶阻器施加脈沖的脈沖信息；以及

基于所述脈沖信息，調節所述憶阻器陣列中各個憶阻器的電導值，以更新所述神經網絡的權重參數矩陣中元素的值；

其中，所述第一訓練階段中確定的脈沖信息與所述第二訓練階段中確定的脈沖信息不同。

2.根據權利要求1所述的訓練方法，其中，所述脈沖信息包括脈沖個數、脈沖幅值、脈沖方向和脈沖寬度中的至少一個。

3.根據權利要求1所述的訓練方法，其中，所述脈沖信息包括脈沖個數，

基于所述神經網絡當前所處的訓練階段和所述更新值，確定向所述憶阻器陣列中的憶阻器施加脈沖的脈沖信息，包括：

根據所述神經網絡當前所處的訓練階段，確定至少一個閾值端點，并且基于所述至少一個閾值端點將所述更新值的絕對值的取值范圍劃分為多個閾值區間；

確定所述多個閾值區間與所述脈沖個數之間的對應關系；以及

基于所述更新值所屬的閾值區間和所述對應關系，確定向所述憶阻器陣列中的憶阻器施加脈沖的脈沖信息。

4.根據權利要求3所述的訓練方法，其中，根據所述神經網絡當前所處的訓練階段，確定所述至少一個閾值端點，并且基于所述至少一個閾值端點將所述更新值的絕對值的取值范圍劃分為多個閾值區間，包括：

若所述神經網絡當前所處的訓練階段為所述第一訓練階段，則在所述第一訓練階段中確定至少兩個閾值端點，以將所述更新值的絕對值的取值范圍在所述第一訓練階段劃分為依次排列的多個閾值區間；

若所述神經網絡當前所處的訓練階段為第二訓練階段，則在所述第二訓練階段中確定至少兩個閾值端點，以將所述更新值的絕對值的取值范圍在所述第二訓練階段劃分為依次排列的多個閾值區間；

其中，所述第一訓練階段中的多個第一特定閾值區間的區間寬度分別大于所述第二訓練階段中的多個第二特定閾值區間的區間寬度，其中，所述多個第一特定閾值區間為所述第一訓練階段的多個閾值區間中數值均小于第一預設值的區間，所述多個第二特定閾值區間為所述第二訓練階段的多個閾值區間中數值均小于第二預設值的區間。

5.根據權利要求4所述的訓練方法，其中，所述第一訓練階段的至少兩個閾值端點包括第一閾值端點和第二閾值端點，所述第二訓練階段的至少兩個閾值端點包括第三閾值端點和第四閾值端點，

所述第一閾值端點的值大于所述第三閾值端點的值，所述第二閾值端點的值大于第四閾值端點的值。

6.根據權利要求4所述的訓練方法，其中，所述第一訓練階段的多個閾值區間包括第一閾值區間、第二閾值區間和第三閾值區間，所述第二訓練階段的多個閾值區間包括在第四閾值區間、第五閾值區間和第六閾值區間，

其中，第一閾值區間的寬度大于第四閾值區間的寬度，第二閾值區間的寬度大于第五閾值區間的寬度。

7.根據權利要求6所述的訓練方法，其中，所述第一閾值區間對應的脈沖個數大于等于第四閾值區間對應的脈沖個數，第二閾值區間對應的脈沖個數大于等于第五閾值區間對應的脈沖個數，第三閾值區間對應的脈沖個數大于等于第六閾值區間對應的脈沖個數。

8.根據權利要求6所述的訓練方法，其中，所述第一閾值區間對應的脈沖個數小于第二閾值區間對應的脈沖個數，所述第二閾值區間對應的脈沖個數小于所述第三閾值區間的對應的脈沖個數，

所述第四閾值區間對應的脈沖個數小于第五閾值區間對應的脈沖個數，所述第五閾值區間對應的脈沖個數小于所述第六閾值區間的對應的脈沖個數。