[發明專利]一種稀疏卷積神經網絡加速器及計算方法

有效

• 申請號: 201910149310.2
• 申請日: 2019-02-27
• 公開（公告）號: CN111626410B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 余成宇;李志遠;毛文宇;魯華祥;邊昳
• 申請（專利權）人: 中國科學院半導體研究所;中國科學院大學
• 主分類號: G06N3/06
• 分類號: G06N3/06
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

1.一種稀疏卷積神經網絡加速器，包括：

卷積計算模塊，用于對輸入特征圖進行乘加處理，生成中間結果，其中，所述卷積計算模塊由9個計算單元組成，每一所述計算單元由一個及以上的乘加器組成，同一所述計算單元中乘加器的激活輸入相同，所述9個計算單元設置有一額外激活輸入；其中，所述9個計算單元形成3×3卷積核，每一所述計算單元將其生成的乘加結果傳遞至下一個與其連接的計算單元，或者經由所述計算單元所在行的FIFO緩存傳遞至下一行的計算單元，該計算單元以其接收到的乘加結果為初始值繼續進行乘加計算；

非線性及池化模塊，用于對所述中間結果進行非線性計算及池化計算，生成輸出特征圖；

全連接層計算模塊，用于對所述輸出特征圖進行全連接計算，生成最終結果。

2.根據權利要求1所述的稀疏卷積神經網絡加速器，其中，每一所述計算單元對所述輸入特征圖進行判斷，并確定一非零的激活輸入作為所述額外激活輸入。

3.根據權利要求1所述的稀疏卷積神經網絡加速器，其中，所述加速器中卷積計算模塊的數量為一個及以上，根據所述輸出特征圖的數量確定所述卷積計算模塊的工作模式。

4.根據權利要求3所述的稀疏卷積神經網絡加速器，其中，當所述輸入特征圖的尺寸大于預設值時，對所述輸入特征圖進行切分，根據切分狀態和所述輸出特征圖的數量確定所述卷積計算模塊的工作模式。

5.根據權利要求1所述的稀疏卷積神經網絡加速器，其中，所述FIFO緩存不小于所述輸出特征圖的行長度。

6.根據權利要求1所述的稀疏卷積神經網絡加速器，其中，所述加速器還包括：

DRAM模塊，用于存儲原始圖像以及所述最終結果；

DMA模塊，用于從所述DRAM模塊中獲取所述原始圖像，并生成所述原始圖像對應的輸入特征圖，以及從所述全連接層計算模塊中獲取所述最終結果并傳輸至所述DRAM模塊；

緩存模塊，用于緩存所述計算單元和乘加器的計算參數；

控制模塊，用于控制所述卷積計算模塊、非線性及池化模塊、全連接層計算模塊和DMA模塊。

7.根據權利要求6所述的稀疏卷積神經網絡加速器，其中，所述加速器還包括網絡模塊，用于將所述DMA模塊中的輸入特征圖傳輸至所述卷積計算模塊，并將所述卷積計算模塊的乘加結果傳輸至所述非線性及池化模塊，以及將所述非線性及池化模塊的輸出特征圖傳輸至所述全連接層計算模塊。

8.根據權利要求1所述的稀疏卷積神經網絡加速器，其中，在同一個所述卷積計算模塊中，每一所述計算單元中乘加器的數量相同。

9.一種利用權利要求1-8任一項所述的稀疏卷積神經網絡加速器進行計算的方法，包括：

S1，卷積計算模塊利用一個額外邏輯對輸入特征圖進行判斷，根據判斷結果確定一非零的激活輸入，獲取所述激活輸入對應的權重參數以計算所述卷積計算模塊；

S2，利用所述卷積計算模塊對所述輸入特征圖進行乘加處理，生成中間結果，其中，所述卷積計算模塊中的每一計算單元內乘加器的計算是并行進行的，所述計算單元同時傳遞其計算結果至下一個與其連接的計算單元，并使用所述卷積計算模塊中的FIFO緩存整行計算結果以傳遞到下一行計算單元；

S3，對所述中間結果進行非線性計算及池化計算，生成輸出特征圖；

S4，將所述輸出特征圖作為下一層計算的輸入特征圖，重復執行操作S1-S3直至最后一層計算；

S5，對最后一層計算的輸出特征圖進行全連接計算，生成最終結果。