[發明專利]一種基于非易失存儲器的卷積神經網絡片上學習系統

有效

• 申請號: 201811058657.8
• 申請日: 2018-09-11
• 公開（公告）號: CN109460817B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 繆向水;潘文謙;李祎
• 申請（專利權）人: 華中科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

本發明公開一種基于非易失存儲器的卷積神經網絡片上學習系統，包括：輸入模塊、卷積神經網絡模塊、輸出模塊以及權重更新模塊。卷積神經網絡模塊的片上學習利用憶阻器電導隨著施加脈沖進行改變的特性實現突觸功能，卷積核值或突觸權重值儲存在憶阻單元中；輸入模塊將輸入信號轉換成卷積神經網絡模塊所需的電壓信號；卷積神經網絡模塊將輸入電壓信號經過逐層計算轉換，并將結果傳入輸出模塊得到網絡的輸出；權重更新模塊根據輸出模塊的結果調整卷積神經網絡模塊中憶阻器的電導值，實現網絡卷積核值或突觸權重值的更新。本發明旨在實現卷積神經網絡的片上學習，實現了數據的在線處理，基于網絡的高度并行性實現了速度快功耗低，硬件成本低的需求。

技術領域

本發明涉及人工神經網絡技術領域，更具體地，涉及一種基于非易失存儲器的卷積神經網絡片上學習系統。

背景技術

人工神經網絡是一種應用類似于大腦神經突觸聯接的結構，它是一種模仿動物神經網絡行為特征，進行信息處理的數學模型進行分布式并行信息處理的算法數學模型。在眾多機器學習的算法中，神經網絡的適用性廣，魯棒性強。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

作為深度學習最重要的算法之一，卷積神經網絡在大型圖像識別中有很大的優越性。由多個卷積層和池化層組成的卷積神經網絡(Convolutional Neural Network，CNN)體系結構可以提取有用的特征信息，而不需要大量的手動輸入數據，這使得其在各種模式識別應用中的有很高的準確性，將其實現硬件化是一項很有前景的工作。現有的很多工作大多是基于CPU和GPU開展的，這樣會導致很大的能耗，即遭遇所說的馮諾依曼瓶頸，所以急需尋找一種新型存儲器件能模擬人腦，同時實現對信息的存儲和處理。CNN利用輸入圖像的空間結構，比其他神經網絡結構如完全連接的神經網絡更適合于視覺任務。到目前為止，最大的挑戰是將CNN集成到嵌入式系統中。要實現硬件化，突觸是神經網絡中最多的處理元件，在突觸器件方面，已有很多器件被報道如磁性存儲器，相變存儲器和憶阻器等。這其中，由于憶阻器非易失，易集成，低功耗以及可實現多位存儲，是非常有前途的候選者。憶阻器的模擬記憶功能類似于生物突觸，其電導可以通過施加相對較大的電壓偏置而連續改變，但在施加較小的偏壓或無偏壓時保持不變。憶阻器可以通過crossbar結構進行集成，使用這種結構可以實現接近或大于腦組織的突觸密度。基于憶阻器的CNN可以使用易于實現的神經電路和輔助電路，同時可以降低能耗，以更高的速度進行計算并在物理上實現并行性。

發明內容

針對現有技術的缺陷，本發明的目的在于解決現有計算機實現卷積神經網絡所遭遇的馮諾依曼瓶頸，其計算和存儲的分離相當耗時低速，并且會導致巨大的硬件成本，同時利用計算機實現的片外學習只能實現預先訓練的特定功能，不能實時靈活地解決問題的技術問題。

為實現上述目的，本發明提供一種基于非易失存儲器的卷積神經網絡片上學習系統，包括：輸入模塊、卷積神經網絡模塊、輸出模塊以及權重更新模塊；

所述輸入模塊將輸入信號轉換成卷積神經網絡模塊所需的輸入電壓脈沖信號后傳入所述卷積神經網絡模塊；

所述卷積神經網絡模塊對輸入信號對應的輸入電壓脈沖信號經過逐層計算轉換以完成片上學習得到輸出信號，其利用憶阻器件的電導隨著施加脈沖進行改變的電導調制特性實現突觸功能，片上學習過程中用到的網絡卷積核值或突觸權重值儲存在憶阻器件中；

所述輸出模塊將所述卷積神經網絡模塊產生的輸出信號轉換并發送給所述權重更新模塊；

所述權重更新模塊根據輸出模塊的結果來計算誤差信號和調整憶阻器件的電導值，實現網絡卷積核值或突觸權重值的更新。

可選地，所述輸入模塊將外界輸入信號轉換成所述卷積神經網絡所需的輸入電壓脈沖信號，輸入信號與輸入電壓脈沖信號的脈沖寬度或脈沖幅度遵循正比例關系，且所述輸入電壓脈沖信號應小于憶阻器的擦寫電壓。