[發明專利]一種降低深度神經網絡數據遷移及功耗的卷積運算結構

有效

• 申請號: 202010130325.7
• 申請日: 2020-02-28
• 公開（公告）號: CN111275180B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 婁冕;蘇若皓;楊靚;崔媛媛;張海金;郭娜娜;劉思源;黃九余;田超
• 申請（專利權）人: 西安微電子技術研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

1.一種降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，包括乘法器和加法器，乘法器的輸入端分別連接多路復選器MUX1和多路復選器MUX2，乘法器的輸出端與多路復選器MUX1的輸出端經多路復選器MUX3與加法器的輸入端連接，加法器的輸入端還連接有多路復選器MUX4的輸入端，多路復選器MUX1、多路復選器MUX2、乘法器、多路復選器MUX3、多路復選器MUX4的輸出端和加法器的輸入端分別連接寄存器reg1，加法器的輸出端連接寄存器reg2，寄存器reg2的輸出端連接多路復選器MUX4的輸入端，用于實現卷積運算的乘累加操作；輸入特征圖(input?fmaps)的高、寬、深度分別是H_if、W_if和C，卷積核(filter或weight)的高、寬、深度分別是R_iw、S_iw和C，卷積運算的過程就是從輸入特征圖的頂點處選擇與卷積核相同大小的區域進行逐個乘累加操作，之后以步長ΔT滑動進行相同操作，輸出特征圖的O₀₀元素值為：

其中，f為輸入特征圖中的數據元素，w為卷積核中的權重值，下標代表其橫縱坐標。

2.根據權利要求1所述的降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，在輸入方向，輸入特征數據f_xy以及PE間可復用的特征數據f_reuse通過多路復選器MUX1后作為乘法器的一端輸入，輸入權值w_ij以及PE間可復用的權值w_reuse通過多路復選器MUX2后作為乘法器的另一端輸入。

3.根據權利要求1所述的降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，乘法器的輸出與MUX1的輸出經過多路復選器MUX3后作為加法器的一端輸入，多路復選器MUX3用于當輸入特征數據為0值時，乘法結果為0，不激活乘法器，將0值旁路輸入加法器。

4.根據權利要求3所述的降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，加法器的另一端輸入由多路復選器MUX4提供，多路復選器MUX4的輸入分別是系統初值0和上一周期PE輸出結果inter_psum，當PE執行每一輪卷積操作的第一次運算時選擇初值0進行加法運算，以后均選擇inter_psum完成累加操作。

5.根據權利要求1所述的降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，在輸入方向，控制信號提供MUX1/MUX2/MUX3/MUX4的選擇信號，并提供乘法器、加法器、寄存器reg1和reg2的使能信號。

6.根據權利要求5所述的降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，在輸出方向，寄存器reg1和reg2分別對輸入特征數據和輸入權值進行鎖存。

7.根據權利要求6所述的降低深度神經網絡數據遷移及功耗的卷積運算結構，其特征在于，輸入特征數據f_xy的訪問次數N_{ifmap_opt}計算如下：

其中，為向下取整操作，R_iw、S_iw為卷積核的高、寬，H_if、W_if為輸入特征圖的高、寬，ΔT為步長。