[發明專利]一種混合式神經網絡訓練方法、系統、設備及存儲介質

有效

• 申請號: 202110520730.4
• 申請日: 2021-05-13
• 公開（公告）號: CN112990444B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 彭世辰;周軍
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明公開了一種混合式神經網絡訓練方法、系統、設備及存儲介質，屬于機器學習算法領域。在本發明所提供的訓練方案中，使用基于梯度下降的訓練方法的梯度計算方法以及誤差傳遞方法，同時采用訓練過程中自適應可變步長的基于曼哈頓規則的訓練方法更新網絡權重，兼顧網絡的網絡預測準確率以及收斂速度，可達到相比于基于曼哈頓的神經網絡訓練算法的較快收斂速度以及基于隨機梯度下降的訓練算法的較高準確率。本發明所提供的混合式神經網絡訓練方式的復雜度低，收斂速度快，且能保證所訓練的神經網絡的網絡預測準確率，更能適用于基于電阻式隨機存取存儲器ReRAM的神經網絡計算電路的在線訓練。

技術領域

本發明屬于機器學習算法領域，具體涉及一種混合式神經網絡訓練方法、系統、設備及存儲介質。

背景技術

基于新型非易失型存儲器件的神經網絡計算電路，如基于電阻式隨機存取存儲器ReRAM的神經網絡計算電路，由于采用基于電阻式隨機存取存儲器ReRAM陣列的存算一體架構，相比于基于傳統的CMOS(Complementary Metal-Oxide-Semiconductor)神經網絡計算電路，具有更快的計算速度、更高的集成密度、更高的能效等優勢。但是，現有的電阻式隨機存取存儲器ReRAM，即使通過反復的SET/RESET操作（SET指對電阻式隨機存取存儲器ReRAM施加一個正的寫電壓脈沖，使器件阻值減小；RESET指對電阻式隨機存取存儲器ReRAM施加一個負的寫電壓脈沖，使器件阻值增加。不同的電壓脈沖對器件阻值改變的大小不同）寫入以及讀出并進行驗證的方式，其代表網絡權重的器件阻值也不能精確地調制到目標值，同時由于目前工藝并不成熟，陣列中存在部分的電阻式隨機存取存儲器ReRAM的器件阻值不可調（開路/短路故障）、器件阻值隨環境溫度改變以及電路噪聲，網絡權重將存在較大的誤差，神經網絡計算出現較大誤差，最終使得神經網絡的識別準確率偏低。本申請的發明人在實現本申請的技術方案時發現：通過在神經網絡計算電路中引入閉環的神經網絡訓練算法，通過分析神經網絡識別誤差，自適應調整神經網絡的權值即電阻式隨機存取存儲器ReRAM的器件阻值，對器件阻值進行自動修正，可有效提高識別準確率。

發明內容

本發明實施例提供了一種合式神經網絡訓練方法、系統、設備及存儲介質，可用于提升神經網絡的訓練收斂速度，以及提高神經網絡的預測準確率。

一方面，本發明實施例提供了一種混合式神經網絡訓練方法，包括下列步驟：

步驟1，獲取待訓練的神經網絡模型；

步驟2，獲取訓練數據集，其中訓練數據集的各訓練數據包括訓練樣本的數據向量和樣本標簽，所述訓練數據為圖像數據或音頻數據或文本數據；

步驟3，從訓練數據集中讀取當前的批數據，所述批數據包括至少一個訓練數據；

步驟4，將批數據的各訓練樣本的數據向量分別輸入神經網絡模型，進行神經網絡的前向推理運算，輸出分類任務中每個類別的預測概率，從而得到當前批數據中的各訓練樣本的預測值；

步驟5，基于預設的損失函數計算當前批數據的訓練樣本的預測值與樣本標簽之間的損失值，若損失值大于或等于預設的損失閾值，則執行步驟6和7；否則執行步驟9；

步驟6，基于隨機梯度下降法，計算神經模型的各網絡層的權重梯度，若所述權重梯度小于預設的梯度閾值，則直接執行步驟9；若所述權重梯度大于或等于預設的梯度閾值，則基于各網絡層的權重梯度的正負符號確定對應權重的梯度更新方向；

步驟7，確定當前的權重更新的步進值：

判斷權重更新的步進值的更新間隔是否達到預設的間隔閾值，若否，則權重更新的步進值保持不變；若是，則將當前損失值與預設的至少兩個損失取值段進行匹配，確定當前損失值所對應的損失取值段，并基于該損失取值段所對應的步進值，確定當前的權重更新的步進值；