[發明專利]一種用于二值卷積神經網絡的高能效脈動陣列架構

在審

• 申請號: 202010047472.8
• 申請日: 2020-01-16
• 公開（公告）號: CN111275167A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 張勇東;尚志華;謝洪濤;鄧旭冉;李巖
• 申請（專利權）人: 北京中科研究院;中國科學技術大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發明公開了一種用于二值卷積神經網絡的高能效脈動陣列架構，包括：M1、M2、M3、M4四個層，四個層構成層間流水線，前三層采用脈動流水線結構；其中：M1層依次為第一卷積計算單元、第一二值編碼單元與第一池化單元；M2層依次為第二卷積計算單元、第一加法樹計算單元、第二二值編碼單元與第二池化單元；M3層依次為第一全連接計算單元、第二加法樹計算單元與第三二值編碼單元；M4層包含第二全連接計算單元。該架構可以完成二值卷積神經網絡計算，降低硬件存儲需求，避免乘法計算，降低能耗，提高并行度，提高速度，從而提高能效。

技術領域

本發明涉及二值卷積神經網絡圖像識別領域，尤其涉及一種用于二值卷積神經網絡的高能效脈動陣列架構。

背景技術

人工神經網絡是通過對生物神經網絡進行數學抽象獲得的數學模型，它是深度學習的研究熱點。目前人工神經網絡的應用領域很廣泛，例如有語音識別、圖像識別、目標檢測等領域。其中，卷積神經網絡是一類包含深度結構的神經網絡，它在進行運算時只包含前饋神經網絡，在訓練時含有反向傳播的過程。卷積神經網絡是人工神經網絡的一種，因其穩定性和準確度高而被廣泛研究和運用。卷積神經網絡研究最開始是受到視覺細胞研究的啟發，初級視覺皮層中的神經元會響應視覺環境中特定的簡單特征。視覺皮層存在簡單細胞和復雜細胞，簡單細胞僅對特定的空間位置和偏好的方向有強烈的反應，復雜細胞空間不變性大，通過幾個簡單細胞的輸入上進行池化而實現這種不變性。因此，卷積神經網絡的基礎操作為卷積計算和池化計算。卷積計算是用特定大小的卷積核來提取某個區域內的特征，利用數據計算完成則為乘累加過程。池化計算是一個下采樣的過程，下采樣的目的是為了減少特征圖的大小，也是在一個特定的區域內提取重要的特征元素，從而可以降低特征圖的規模，減少計算參數。

隨著卷積神經網絡的發展，網絡規模逐漸增大，導致存儲規模和計算規模持續增大。因此，研究如何降低卷積神經網絡的參數規模和計算規模成了卷積神經網絡的熱點。一般來說，減少卷積神經網絡參數的方法至少有4種。第1種是剪枝，即通過剪除不重要的神經元之間的連接；第2種是卷積核降維，如奇異值分解；第3種是脈沖神經網絡，即用脈沖神經元替代一般的卷積神經元，在神經元處于非激活狀態時不發射脈沖，即不進行計算；第4種是量化神經網絡，即使用較少的比特數去表示一個浮點數，從而減少存儲。采用第4種方法，可以訓練出二值化的卷積神經網絡，即將大于等于0的權重的和特征圖表示為+1，將小于0的權重和特征圖表示為-1。

近年來，為了達到圖像識別的實時性處理效果，用于卷積神經網絡的GPU、FPGA、ASIC加速器出現很多。但是，卷積神經網絡受存儲需求限制很大。因此，基于二值卷積神經網絡，設計一種專用于二值卷積神經網絡的高能效計算陣列架構是非常重要的。

發明內容

本發明的目的是提供一種用于二值卷積神經網絡的高能效脈動陣列架構，能夠降低存儲需求，同時避免乘法計算，從而降低功耗。

本發明的目的是通過以下技術方案實現的：

一種用于二值卷積神經網絡的高能效脈動陣列架構，包括：M1、M2、M3、M4四個層，四個層構成層間流水線，前三層采用脈動流水線結構；其中：

M1層依次為第一卷積計算單元、第一二值編碼單元與第一池化單元；M2層依次為第二卷積計算單元、第一加法樹計算單元、第二二值編碼單元與第二池化單元；M3層依次為第一全連接計算單元、第二加法樹計算單元與第三二值編碼單元；M4層包含第二全連接計算單元。

由上述本發明提供的技術方案可以看出，可以完成二值卷積神經網絡計算，降低硬件存儲需求，避免乘法計算，降低能耗，提高并行度，提高速度，從而提高能效。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。