[發明專利]基于憶阻器的低功耗脈沖卷積神經網絡的硬件架構

有效

• 申請號: 202011203894.6
• 申請日: 2020-11-02
• 公開（公告）號: CN112183739B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 吳啟樵;孫文浩;蔡元鵬;陳松
• 申請（專利權）人: 中國科學技術大學;程林;吳楓;陳松
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F13/28
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種基于憶阻器的低功耗脈沖卷積神經網絡的硬件架構，相較于現有的神經網絡加速硬件架構采用的數字電路乘法器和數模、模數轉換器，帶來的硬件功耗和面積的巨大消耗，以及傳統神經網絡加速硬件架構很難再適配網絡規模和計算復雜度不斷上升的要求，本方案采用低功耗憶阻器陣列完成模擬乘累加運算，具有運算效率高、功耗低的優點；并且使用陣列和靈敏放大器模擬脈沖卷積神經網絡的IF神經元，省去了數模、模數轉換器，節約了大量硬件面積消耗。再者，脈沖卷積神經網絡相較于傳統卷積神經網絡運算量大、能耗過高的缺陷，具有高能效計算的特性，本發明提出的基于憶阻器的脈沖卷積神經網絡硬件架構相較于現有技術，有很大的性能提升。

技術領域

本發明涉及神經網絡技術領域，尤其涉及一種基于憶阻器的低功耗脈沖卷積神經網絡的硬件架構。

背景技術

近年來，人工神經網絡目前已經成為人工智能領域研究的熱門方向。得益于大數據和高性能計算硬件的發展，卷積神經網絡在圖像識別、目標檢測和模式識別等領域取得了舉世矚目的成就。但是當今計算處理器(CPU)和圖形處理器(GPU)，是以傳統的馮諾依曼計算體系為基礎，在數據從內存至處理器之間的搬運上消耗了很大代價。隨著神經網絡的處理數據量和計算量越來越大，傳統馮諾依曼計算體系在處理大量乘累加運算時，將會消耗非常大的硬件能耗。很難將其應用到嵌入式設備、隨身攜帶移動設備等低功耗設備中。采用與生物神經網絡更加接近的脈沖神經網絡(SNN)和新型非易失行存儲器件憶阻器(RRAM)來設計硬件，有望成為解決硬件能耗問題的一個突破口，近年來不斷受到國內外學者的廣泛關注。

脈沖卷積神經網絡(SCNN)，由于其基于脈沖神經網絡的原理，實現了更高級的生物神經模擬水平，并采用了卷積神經網絡(CNN)的網絡結構，具有局部感知和參數共享的特點。除了傳統卷積神經網絡中已有的神經元和突觸狀態之外，脈沖卷積神經網絡還將時間概念納入了其操作之中旨在彌合神經科學和機器學習之間的差距，使用最擬合生物神經元機制的模型來進行計算。和傳統卷積神經網絡相比，脈沖卷積神經網絡結合了卷積神經網絡識別精度高和脈沖神經網絡能耗低的優點，非常適合用來設計神經網絡加速器和神經形態硬件。

由于對生物神經網絡采用的具體學習方法了解還不夠深入，脈沖卷積神經網絡目前還缺少高效的訓練算法，且缺乏一定的生物學依據，因而在圖像識別等領域的識別效果與傳統卷積神經網絡相比還有一定差距。而且，傳統馮諾依曼架構的硬件設計功耗和資源消耗很大。因此，設計一種基于非易失性存儲器來實現脈沖卷積神經網絡的硬件架構，可以采用新型非馮諾依曼架構，并兼顧卷積神經網絡的高準確率和脈沖神經網絡的低能耗，有望將其應用到隨身攜帶移動設備等對能耗需求比較高的應用場景中。

發明內容

本發明的目的是提供一種基于憶阻器的低功耗脈沖卷積神經網絡的硬件架構，能夠以較低的功耗實現脈沖卷積神經網絡硬件架構，并適配不同的網絡結構。

本發明的目的是通過以下技術方案實現的：

一種基于憶阻器的低功耗脈沖卷積神經網絡的硬件架構，包括：輸入緩沖器、憶阻器控制模塊、憶阻器陣列、靈敏放大器模塊、以及輸出緩沖器；

所述輸入緩沖器，用于存儲圖片輸入數據，并在計算時輸出譯碼總線信號和控制總線信號；

所述憶阻器控制模塊，用于根據譯碼總線信號和控制總線信號將相應的圖片輸入數據寫入憶阻器陣列中；

所述憶阻器陣列的內部存儲有權重數據，結合圖片輸入數據進行存內計算，輸出匯集電流值；

所述靈敏放大器模塊，用于結合憶阻器陣列輸出的匯集電流值與參考閾值電流，輸出高電平電壓或低電平電壓；

所述輸出緩沖器，接收并靈敏放大器模塊的輸出結果，存儲或者向外輸出。