[發明專利]具有差分二進制非易失性存儲器單元結構的可配置精密神經網絡

在審

• 申請號: 201910638410.1
• 申請日: 2019-07-16
• 公開（公告）號: CN110782028A
• 公開（公告）日: 2020-02-11
• 發明（設計）人: W·H·崔;P·F·邱;馬雯;M·盧克博登
• 申請（專利權）人: 閃迪技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 11245 北京紀凱知識產權代理有限公司
• 代理人: 趙志剛

本公開一般涉及具有差分二進制非易失性存儲器單元結構的可配置精密神經網絡。本發明公開了非易失性存儲器陣列架構用于實現神經網絡(BNN)的用途，其允許在存儲器陣列內執行矩陣乘法和累加。用于存儲神經網絡的權重的單位突觸由兩個單獨存儲器單元的差分存儲器單元形成，諸如具有可編程電阻的存儲器單元，每個存儲器單元連接在字線對中的對應一者與共享位線之間。將輸入作為具有電壓值的模式施加在連接到單位突觸的字線對上，以通過確定共享位線上的電壓電平來執行輸入與權重的乘法。此類乘法的結果由感測放大器來確定，并且該結果由求和電路進行累加。通過針對權重使用多個差分存儲器單元，所述方法可以從二進制權重擴展到多位權重值。

相關申請的交叉引用

本申請是2019年5月7日提交的美國專利申請號16/939,109的部分繼續申請，其要求2018年7月24日提交的美國臨時申請號62/702,713的優先權，并且與均在2019年3月28日提交的美國專利申請號16/368,441和16/368,347相關，所有這些申請以引用方式并入本文。

背景技術

人工神經網絡越來越多地用于人工智能和機器學習應用中。在人工神經網絡中，將一組輸入通過一個或多個中間層或隱藏層傳播以生成輸出。通過多組權重來連接將輸入連接到輸出的層，該多組權重是在訓練或學習階段中通過以下方式生成的：確定用于將輸入轉換成輸出的一組數學變換，移動通過所述層，計算每個輸出的概率。一旦確立了權重，就可以在推理階段使用所述權重來根據一組輸入確定輸出。雖然此類神經網絡可以提供高度準確的結果，但是它們是計算極其密集的，并且在從存儲器中讀取連接不同層的權重并將所述權重傳輸到處理單元的處理單元中所涉及的數據傳輸可能相當密集。

附圖說明

類似編號的元件是指不同圖中的通用部件。

圖1是連接到主機的存儲器系統的一個實施方案的框圖。

圖2是前端處理器電路的一個實施方案的框圖。在一些實施方案中，前端處理器電路是控制器的一部分。

圖3是后端處理器電路的一個實施方案的框圖。在一些實施方案中，后端處理器電路是控制器的一部分。

圖4是存儲器封裝件的一個實施方案的框圖。

圖5是存儲器管芯的一個實施方案的框圖。

圖6示出了人工神經網絡的簡單示例。

圖7A是描述用于訓練神經網絡以生成一組權重的方法的一個實施方案的流程圖。

圖7B是描述用于使用神經網絡進行推斷的方法的一個實施方案的流程圖。

圖8是矩陣乘法在神經網絡中的使用的示意圖。

圖9是示出響應于不同輸入-權重組合的二進制神經網絡的輸出的表格。

圖10表示使用兩個差分存儲器單元來形成用于存儲權重位的單位突觸的實施方案。

圖11示出了分別作為字線電壓、電阻值和位線電壓的輸入值、權重值和輸出值的編碼。

圖12A至圖12D分別對應于圖11的表格中所示的四種情況。

圖13A至圖13C示出了單位突觸的電阻式存儲器單元的一些實施方案。

圖14示出了圖10的單位突觸并入陣列中。

圖15使神經網絡的矩陣乘法與圖14的結構更密切相關。

圖16是如針對圖14的陣列架構所示，在推斷中使用二進制神經網絡進行矩陣乘法計算的一個實施方案的流程圖。

圖17示出了用于并發多輸入陣列內矩陣乘法運算的等效分壓器。

圖18示出了如位線上所見的輸出電壓與在多個輸入權重積的并發感測中確定的求和代碼之間的關系。