[發明專利]一種用于二值卷積神經網絡的高能效脈動陣列架構

在審

• 申請號: 202010047472.8
• 申請日: 2020-01-16
• 公開（公告）號: CN111275167A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 張勇東;尚志華;謝洪濤;鄧旭冉;李巖
• 申請（專利權）人: 北京中科研究院;中國科學技術大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，包括：M1、M2、M3、M4四個層，四個層構成層間流水線，前三層采用脈動流水線結構；其中：

M1層依次為第一卷積計算單元、第一二值編碼單元與第一池化單元；M2層依次為第二卷積計算單元、第一加法樹計算單元、第二二值編碼單元與第二池化單元；M3層依次為第一全連接計算單元、第二加法樹計算單元與第三二值編碼單元；M4層包含第二全連接計算單元。

2.根據權利要求1所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，二值卷積神經網絡的輸入為二值特征圖，第一個N時鐘周期，M1層開始運算；第二個N時鐘周期，M2層獲得有效數據，M1層和M2層同時運算；第三個N時鐘周期，M3層獲得有效數據，M1層、M2層與M3層同時運算；第四個N時鐘周期，M4層獲得有效數據，M1層、M2層、M3層和M4層同時運算，從而構成了四級層流水線。

3.根據權利要求1所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，所有的卷積計算單元與所有的全連接計算單元由PE_R和PE_C組合而成；

PE_R完成行計算，包含一個同或計算單元、一個加法器，兩個寄存器；其中一個寄存器用于緩存權重并傳輸到下一層進行計算，另一個寄存器用于存放累加結果；

PE_C完成列計算，即對行計算的結果進行累加，包含一個加法器和一個寄存器。

4.根據權利要求3所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，所有的卷積計算單元為多個PE_R和PE_C組合構成的卷積計算陣列；

卷積計算陣列有多個權重輸入，權重沿水平方向向右傳輸，從上到下權重傳輸依次晚一個時鐘周期；每個對角線上的輸入特征圖是相同的，起到了輸入共享的作用。

5.根據權利要求3所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，

所有的全連接計算單元，不涉及權重共享，由多個PE_R和PE_C組合構成了三級脈動流水線結構；其中：

在第一級脈動流水線中，每個PE_R對應一個權重輸入和一個特征圖輸入，數據不共享，每個PE_R完成一行的若干數據同或累加操作，從上到下的PE_R依次晚一個時鐘周期傳入陣列中參與計算；

在第二級脈動流水線中，使用多個PE_C各自累加每一行數據的累加結果；

第三級脈動流水線中，使用一個PE_C完成對第二級脈動流水線累加結果的累加。

6.根據權利要求1所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，

第一加法樹計算單元為S通道的復用的加法樹，S為自然數，表示輸入通道數目；S個通道分為多級運算，每級運算間插入寄存器用于存放計算數據，使用加法器的個數為S-1個，是一個多級流水線，分時復用多次；

第二法樹計算單元為K通道的加法樹，K為自然數，表示輸入通道數目；第二法樹計算單元使用加法器的個數為K，在每兩層加法樹間插入寄存器，構成四級流水線結構。

7.根據權利要求1所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，

對M1層與M2層的卷積計算單元、以及M3層全連接計算單元的輸出都進行批歸一化操作，公式為：

上式中，μ是期望，σ²是方差，γ和β是縮放和偏移的參數，ε為常數，X表示卷積計算單元或者全連接計算單元的輸出。

8.根據權利要求7所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，所有的二值編碼單元均相同，通過組合邏輯電路實現，包含了一個比較器和一個同或計算單元，表達式為：

上式中，sign(x)是符號函數；x是指輸入至二值編碼單元的信息，即批歸一化得到的Y。

所有的池化單元均相同，包含了P個寄存器用于存放二值編碼后的二值化數據，每P個數據通過或邏輯輸出一個結果，P為自然數。

9.根據權利要求1所述的一種用于二值卷積神經網絡的高能效脈動陣列架構，其特征在于，M1層、M2層與M3層的末端均設有一個乒乓緩存單元，用來存儲相應層的計算結果。