[發明專利]一種基于非線性器件的原位自激活神經網絡電路及神經網絡運算方法

有效

• 申請號: 202010783712.0
• 申請日: 2020-08-06
• 公開（公告）號: CN112070220B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 王宗巍;蔡一茂;鮑盛譽;凌堯天;喻志臻;康健;鄭琪霖;黃如
• 申請（專利權）人: 北京大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種基于非線性器件的原位自激活神經網絡電路及神經網絡運算方法。該原位自激活神經網絡電路包含多層，其中至少一層包含輸入模塊、IMT?RRAM陣列和輸出模塊：所述輸入模塊，用于將神經網絡的該層向量信號的模擬量傳遞給IMT?RRAM陣列進行運算；所述IMT?RRAM陣列，包含多個存儲單元，每個存儲單元包含一個IMT?RRAM器件即絕緣體?金屬轉變式自選擇阻變存儲器；所述輸出模塊，用于將IMT?RRAM陣列的計算結果的模擬信號傳遞到下一層。本發明實現了先激活再乘加的神經網絡架構，在保持原有神經網絡架構運算精度的同時，節省了大量的面積和外圍電路帶來的功耗。

技術領域

本發明屬于半導體(semiconductor)、人工智能(artificial intelligence)和CMOS混合集成電路技術領域，具體涉及一種原位自激活神經網絡(in-situ self-activation neural network)以及對應其權值物理映射的絕緣體-金屬轉變式自選擇阻變存儲器陣列(IMT-RRAM array)的器件、算法、架構協同設計方案。

背景技術

隨著信息技術的飛速發展，社會的信息化、智能化需求更加快速高效的智能終端和計算平臺，這對傳統硬件設備提出速度、功耗、面積和存儲密度等方面的巨大挑戰。

從傳統信息存儲角度出發，半導體工藝節點持續縮小，已經接近物理極限，集成密度的提高面臨挑戰。此外，傳統馮諾依曼架構存在“存儲墻”的問題，使得存儲系統的運行效率受到限制，從而降低了信息傳輸和存儲的性能。與此同時，人工智能和大數據時代來臨對高性能存儲計算技術的需求更加迫切。人工智能技術對低功耗、高速度和高并行度的計算資源的需求不斷提高，現有計算機系統在未來難以滿足更大規模的神經網絡加速算法。基于憶阻效應(阻變效應)的阻變存儲器(RRAM)憑借優良的非易失性存儲特性和與生物突觸特性類似的電學的緩變特征和記憶特性得以實現高性能的存儲芯片和智能神經形態芯片。此外RRAM器件具有很高的集成度，這使得基于RRAM的神經形態計算電路有巨大的應用前景。

然而，對于復雜的神經網絡算法，非線性激活函數必不可少。按照傳統神經網絡構建基于RRAM陣列的神經網絡計算硬件時，采用先輸出加和，然后整體激活再輸入下一層的方式實現。非線性激活函數需要耗費大量外圍電路，這不僅增大電路功耗和面積，還使得數據搬運路徑無法縮減，延時難以降低。

發明內容

為克服現有的實現激活函數的方法帶來的諸多問題，本發明提出了一種原位自激活神經網絡電路及對應其權值物理映射的IMT-RRAM陣列協同設計。

本發明采用的技術方案如下：

一種基于非線性器件的原位自激活神經網絡電路，包含多層，其中至少一層包含輸入模塊、IMT-RRAM陣列和輸出模塊：

所述輸入模塊，用于將神經網絡的該層向量信號的模擬量傳遞給IMT-RRAM陣列進行運算；

所述IMT-RRAM陣列，包含多個存儲單元，每個存儲單元包含一個IMT-RRAM器件即絕緣體-金屬轉變式自選擇阻變存儲器；

所述輸出模塊，用于將IMT-RRAM陣列的計算結果的模擬信號傳遞到下一層。

進一步地，在數模混合設計中，所述輸入模塊用DAC將數字信號轉換成模擬信號，所述輸出模塊將計算結果的模擬信號用ADC轉換成數字信號；在純模擬設計中，所述輸入模塊、所述輸出模塊使用驅動電路傳遞信號。

進一步地，所述IMT-RRAM陣列中每一個IMT-RRAM器件的頂電極連接字線，底電極連接位線；字線連接輸入模塊，位線連接輸出模塊。

進一步地，利用IMT-RRAM器件的低電壓關斷、高電壓導通的特性，實現器件的選通和向量信號的激活；在神經網絡每層的向量前向傳遞過程中，先將向量進行激活處理，得到激活后的向量結果，再把激活后的向量結果進行向量與權值矩陣的乘法運算，得到該層的最終輸出向量。