[發明專利]基于憶阻器的神經網絡的訓練方法及其訓練裝置

有效

• 申請號: 201911059194.1
• 申請日: 2019-11-01
• 公開（公告）號: CN110796241B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 吳華強;姚鵬;高濱;張清天;錢鶴
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G11C13/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

1.一種基于憶阻器的神經網絡的訓練方法，所述神經網絡包括逐一連接的多層神經元層以及在所述神經元層之間的權重參數，所述訓練方法包括：

訓練所述神經網絡的權重參數，并基于訓練后的所述權重參數對憶阻器陣列進行編程，以將所述訓練后的所述權重參數寫入所述憶阻器陣列中；以及

通過調節所述憶阻器陣列的至少部分電導值以更新所述神經網絡的至少一層權重參數；

其中，訓練所述神經網絡的權重參數，并基于訓練后的所述權重參數對憶阻器陣列進行編程，以將所述訓練后的所述權重參數寫入所述憶阻器陣列中，包括：

在訓練所述神經網絡的權重參數的過程中，根據所述憶阻器陣列的電導狀態的約束，直接獲取所述神經網絡的量化后的權重參數，將所述量化后的權重參數寫入所述憶阻器陣列中；或，基于所述憶阻器陣列的電導狀態的約束對所述訓練后的權重參數進行量化操作，以獲取量化后的權重參數，將所述量化后的權重參數寫入所述憶阻器陣列中。

2.根據權利要求1所述的訓練方法，其中，所述量化操作包括均勻量化和非均勻量化。

3.根據權利要求1或2所述的訓練方法，其中，將所述量化后的權重參數寫入所述憶阻器陣列中，包括：

基于所述量化后的權重參數獲取所述憶阻器陣列的電導狀態的目標區間；

判斷所述憶阻器陣列的各器件的電導狀態是否在所述目標區間內；

如果否，判斷所述憶阻器陣列的各器件的電導狀態是否超出所述目標區間；

如果是，施加反向脈沖；

如果否，施加正向脈沖；

如果是，則量化后的權重參數寫入所述憶阻器陣列。

4.根據權利要求1所述的訓練方法，其中，通過調節所述憶阻器陣列的部分憶阻器的電導值以更新所述神經網絡的至少一層權重參數，包括：

通過前向計算操作和反向計算操作對所述憶阻器陣列進行訓練；

基于所述前向計算操作和所述反向計算操作的結果向所述憶阻器陣列的部分憶阻器施加正向電壓或反向電壓以更新所述憶阻器陣列的部分憶阻器的電導。

5.根據權利要求4所述的訓練方法，其中，僅對所述憶阻器陣列的至少部分進行所述反向計算操作。

6.根據權利要求4或5所述的訓練方法，其中，對所述憶阻器陣列逐行進行或逐列進行或整體并行進行所述前向計算操作和所述反向計算操作。

7.根據權利要求4中所述的訓練方法，其中，逐行進行或逐列進行更新與所述憶阻器陣列的至少部分憶阻器相對應的權重參數。

8.根據權利要求4或5所述的訓練方法，其中，所述前向計算操作和所述反向計算操作僅使用部分訓練集數據。

9.根據權利要求1-2、4-5和7中任一項所述的訓練方法，其中，通過調節所述憶阻器陣列的至少部分電導值以更新所述神經網絡的至少一層權重參數，包括：

更新所述神經網絡中最后一層或最后多層的權重參數。

10.根據權利要求1-2、4-5和7中任一項所述的訓練方法，還包括：所述憶阻器陣列基于更新后的所述權重參數，計算所述神經網絡的輸出結果。

11.一種基于憶阻器的神經網絡的訓練裝置，包括：

片外訓練單元，配置為訓練所述神經網絡的權重參數，并基于訓練后的所述權重參數對憶阻器陣列進行編程，以將所述訓練后的所述權重參數寫入所述憶阻器陣列中；以及

片上訓練單元，配置為通過調節所述憶阻器陣列的至少部分電導值以更新所述神經網絡的至少一層權重參數，

其中，所述片外訓練單元包括量化單元，其中，所述量化單元配置為在訓練所述神經網絡的權重參數的過程中，根據所述憶阻器陣列的電導狀態的約束，直接獲取所述神經網絡的量化后的權重參數，將所述量化后的權重參數寫入所述憶阻器陣列中；或，配置為基于所述憶阻器陣列的電導狀態的約束對所述訓練后的權重參數進行量化操作，以獲取量化后的權重參數。