[發明專利]一種基于非易失存儲器的卷積神經網絡片上學習系統

有效

• 申請號: 201811058657.8
• 申請日: 2018-09-11
• 公開（公告）號: CN109460817B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 繆向水;潘文謙;李祎
• 申請（專利權）人: 華中科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

1.一種基于非易失存儲器的卷積神經網絡片上學習系統，其特征在于，包括：輸入模塊、卷積神經網絡模塊、輸出模塊以及權重更新模塊；

所述輸入模塊將輸入信號轉換成卷積神經網絡模塊所需的輸入電壓脈沖信號后傳入所述卷積神經網絡模塊；

所述卷積神經網絡模塊對輸入信號對應的輸入電壓脈沖信號經過逐層計算轉換以完成片上學習得到輸出信號，其利用憶阻器件的電導隨著施加脈沖進行改變的電導調制特性實現突觸功能，片上學習過程中用到的網絡卷積核值或突觸權重值儲存在憶阻器件中；

所述輸出模塊將所述卷積神經網絡模塊產生的輸出信號轉換并發送給所述權重更新模塊；

所述權重更新模塊根據輸出模塊的結果來計算誤差信號和調整憶阻器件的電導值，實現網絡卷積核值或突觸權重值的更新。

2.根據權利要求1所述的基于非易失存儲器的卷積神經網絡片上學習系統，其特征在于，所述輸入模塊將外界輸入信號轉換成所述卷積神經網絡所需的輸入電壓脈沖信號，輸入信號與輸入電壓脈沖信號的脈沖寬度或脈沖幅度遵循正比例關系，且所述輸入電壓脈沖信號應小于憶阻器的擦寫電壓。

3.根據權利要求1所述的基于非易失存儲器的卷積神經網絡片上學習系統，其特征在于，所述卷積神經網絡模塊采用憶阻器件來模擬網絡卷積核值和突觸權重值，所述憶阻器件的電阻隨著施加電信號進行改變；

所述卷積神經網絡模塊包括：由憶阻器陣列作為卷積核構成的卷積層電路單元和池化層電路單元，以及由憶阻器陣列作為突觸構成的全連接層電路單元；

所述卷積層電路單元接收輸入模塊輸出的輸入電壓脈沖信號，輸入電壓脈沖信號經過所述卷積層電路單元、池化層電路單元，以及全連接層電路單元逐層計算轉換，并將計算結果作為輸出信號發送至所述輸出模塊。

4.根據權利要求3所述的基于非易失存儲器的卷積神經網絡片上學習系統，其特征在于，所述卷積層電路單元由憶阻陣列構成的卷積運算電路和激活函數部分組成；

所述卷積運算電路采用兩行憶阻陣列作為一個卷積核來實現正負卷積核值，初始卷積核值與憶阻電導值對應時，卷積核值被映射成可以與整個輸入信號進行矩陣乘法運算的矩陣，卷積核被擴展為兩個大型稀疏矩陣K+和K-，分別為神經元節點對應的正負卷積核值，相應地利用憶阻器件可以施加正負讀取電壓脈沖的特性將輸入信號轉換為正輸入X和負輸入-X兩個一維矩陣；

所述卷積運算電路將輸入電壓脈沖信號與存儲在憶阻器單元中的卷積核值進行卷積運算，收集同一列的電流即得到卷積運算結果，卷積運算過程為其中，y為卷積運算結果，為卷積運算符號，X為神經元節點的前端突觸輸入電壓信號，K+和K-別為神經元節點對應的正負卷積核值，b為卷積層網絡對應的偏置項，f(.)為激活函數；

所述卷積層電路單元將卷積運算結果傳入池化層電路單元；

所述激活函數將卷積運算結果進行激活并得到y和-y兩個相反輸出值，同時將y和-y兩個相反輸出值轉換成電壓脈沖信號以便作為池化層電路單元的輸入。

5.根據權利要求3所述的基于非易失存儲器的卷積神經網絡片上學習系統，其特征在于，所述池化層電路單元分為平均池化操作和最大池化操作，由憶阻陣列構成的池化操作電路和電壓轉換子單元組成；

池化操作電路對應的憶阻陣列存儲的網絡卷積核值在訓練過程中保持不變，其電路結構和卷積核的映射分布和卷積層電路單元一樣，只是存儲的卷積核值改變；

所述電壓轉換子單元將池化操作電路的結果轉換成h和-h兩個相反電壓脈沖信號以便作為全連接層電路單元的輸入。