[發明專利]具有單獨權重更新和干擾電路的電阻式處理單元架構

有效

• 申請號: 201980025492.0
• 申請日: 2019-04-01
• 公開（公告）號: CN112005252B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 金世榮;T·格克曼
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/065
• 分類號: G06N3/065;G06N3/084;G06N3/04
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 于靜;楊曉光

提供了用于在電阻處理單元(RPU)系統中執行權重更新操作以更新包括可調諧電阻器件的RPU器件的權重值的系統和方法。針對給定RPU器件的權重更新操作包括：維持RPU器件的權重更新累積值，響應于檢測到施加在連接至RPU器件的更新行和更新列控制線上的輸入向量的隨機比特流的重合，將權重更新累積值調整一個單位更新值；響應于累積權重值達到預定義閾值，生成權重更新控制信號；以及，響應于權重更新控制信號，將可調諧電阻器件的電導水平調整一個單位電導值，其中，所述一個單位電導值對應于RPU器件的一個單位權重值。

技術領域

本公開總體上涉及電阻式處理單元(RPU)架構，具體地涉及更新和讀取存儲在RPU存儲單元中的權重值的技術。

背景技術

近年來，基于深度神經網絡(DNN)的模型由于大型標記的數據集的可用和計算資源的連續改進而取得了顯著的進步。DNN被用于不同應用，包括例如對象/語音識別、語言翻譯、模式提取和圖像處理。DNN模型的質量取決于對大量訓練數據的處理以及越來越復雜的神經網絡。就這一點而言，訓練復雜DNN模型是耗時且計算密集的任務，其可能需要許多天或星期使用具有許多計算節點(例如，數據中心規模的計算資源)的并行且分布式計算架構來執行以完成DNN模型的訓練。

為了減少訓練時間，在常規CMOS技術中或通過使用新興的非易失性存儲器(NVM)技術來追求處理DNN工作負荷的硬件加速技術。然而，已經發現，與傳統的硬件加速技術相比，RPU加速器設備具有將DNN訓練加速幾個數量級、同時使用更少功率的潛力。DNN訓練一般依賴于后向傳播算法，其包括三個重復循環：前向、后向和權重更新。已確定，基于RPU存儲單元的二維(2D)交叉式陣列的RPU加速器器件可經配置以并行地執行后向傳播算法的所有三個循環，因此與使用中央處理單元(CPU)和圖形處理單元(GPU)的現有技術實施例相比，潛在地在DNN訓練中以較低功率和減少的計算資源提供顯著加速。RPU加速器可以本地存儲和更新權重值，從而使訓練過程期間的數據移動最小化并且充分利用DNN訓練過程的局部性和并行性。

包括RPU單元陣列的隨機訓練的DNN可以具有使用不同類型的可調諧電阻器件(包括例如憶阻式器件、電容器/讀取晶體管等)實現的突觸權重。為了正確地訓練DNN并實現高精確度，可調諧電阻器件的操作特性應當滿足給定DNN算法可以容忍而沒有顯著誤差損失的可接受的RPU器件參數的一組嚴格的規格。這些規格包括：例如RPU器件切換特性的變化，諸如由于單個重合事件引起的最小增量電導變化(±Δg_min)、上下電導變化的不對稱性、電導值的可調諧范圍等。

具體地，DNN訓練的一個重要規范是，RPU單元應具有可調諧電導，其分辨率(或動態范圍)至少是至少1000個電導水平(或步長)，其中，電導水平可以(通過1ns脈沖)以模擬和對稱增量方式從最小電導狀態切換到最大電導狀態(最大和最小電導狀態之間具有至少一個數量級的電導差異(開/關比))(經由1-ns脈沖)。為了實現RPU單元中最小單位權重值的上/下變化(±Δw_min)的對稱性，RPU單元的相關電導水平的每次遞增(逐步升高，)和遞減(逐步降低，)應為相同量或不超過5％錯配誤差內的類似量)。換言之，本質上是模擬的可調諧電阻式RPU器件，當被提供相同但相反的脈沖刺激時，應當對稱地響應以上下電導變化。然而，盡管有這些要求，可調諧電阻器件可能展現出有限的動態范圍、分辨率和調諧/編程特性的可變性，這使得RPU架構的硬件實現并非無關緊要。

發明內容

本發明的實施例包括用于在RPU單元中執行權重更新和讀取操作的RPU單元架構和方法，其中利用單獨的矩陣來在包含可調諧電阻器件的RPU單元的交叉式陣列內獨立地執行單獨的權重更新累積和推斷(權重讀取)操作。