[發明專利]一種稀疏卷積神經網絡加速器及計算方法

有效

• 申請號: 201910149310.2
• 申請日: 2019-02-27
• 公開（公告）號: CN111626410B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 余成宇;李志遠;毛文宇;魯華祥;邊昳
• 申請（專利權）人: 中國科學院半導體研究所;中國科學院大學
• 主分類號: G06N3/06
• 分類號: G06N3/06
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

一種稀疏卷積神經網絡加速器及計算方法，其中，加速器包括：卷積計算模塊，用于對輸入特征圖進行乘加處理，生成中間結果，其中，卷積計算模塊由9個計算單元組成，每一計算單元由一個及以上的乘加器組成，同一計算單元中乘加器的激活輸入相同，9個計算單元設置有一額外激活輸入；非線性及池化模塊，用于對中間結果進行非線性計算及池化計算，生成輸出特征圖；全連接層計算模塊，用于對輸出特征圖進行全連接計算，生成最終結果。通過對多個卷積計算模塊組合出不同的工作模式，能夠在有效利用激活稀疏性加速卷積神經網絡計算的同時，產生較小的額外資源開銷和較低的負載失衡。

技術領域

本公開涉及深度學習領域，具體地，涉及一種稀疏卷積神經網絡加速器及計算方法。

背景技術

近年來，由于大數據時代海量數據的獲取以及計算機性能的顯著提升，以卷積神經網絡為代表的深度學習算法在許多領域體現出了巨大的優越性。然而，像典型的分類網絡VGG-16，需要15.5G次乘加操作和138M的參數量，巨大的計算量和參數量使得卷積神經網絡的實際應用困難重重。實驗表明卷積神經網絡具有本征的稀疏性，有效的利用稀疏性能夠通過降低計算量的方式極大地提升計算性能，而現有卷積神經網絡加速器的設計忽視了卷積神經網絡稀疏性對加速器設計的重要意義。

設計卷積神經網絡加速器的核心問題在于數據共享和復用情況下，以何種形式大規模并行展開乘加器。卷積神經網絡中的卷積計算在使用常見的激活函數(ReLU)時，激活結果會出現大量的零值，而零值不影響下一層網絡的計算結果，本發明針對這種卷積神經網絡中激活稀疏性的特點，跳過對零值的乘累加計算，從而降低實際計算量，提升計算性能。然而，利用激活稀疏性需要增加額外的邏輯以判斷或處理激活輸入，這會增加額外的資源開銷；此外，不同的激活輸入稀疏性不相同，隊列長度不同，并行計算時因為等待最長隊列會降低并行效率；并且，使用平鋪方式共享激活輸入展開輸出特征圖的方式是有上限的，過量的展開輸出特征圖方向會導致并行效率降低。

發明內容

(一)要解決的技術問題

本公開提供了一種稀疏卷積神經網絡加速器及計算方法，至少解決以上技術問題。

(二)技術方案

本公開提供了一種稀疏卷積神經網絡加速器，包括：卷積計算模塊，用于對輸入特征圖進行乘加處理，生成中間結果，其中，所述卷積計算模塊由9個計算單元組成，每一所述計算單元由一個及以上的乘加器組成，同一所述計算單元中乘加器的激活輸入相同，所述9個計算單元設置有一額外激活輸入；非線性及池化模塊，用于對所述中間結果進行非線性計算及池化計算，生成輸出特征圖；全連接層計算模塊，用于對所述輸出特征圖進行全連接計算，生成最終結果。

可選地，每一所述計算單元對所述輸入特征圖進行判斷，并確定一非零的激活輸入作為所述額外激活輸入。

可選地，所述加速器中卷積計算模塊的數量為一個及以上，根據所述輸出特征圖的數量確定所述卷積計算模塊的工作模式。

可選地，當所述輸入特征圖的尺寸大于預設值時，對所述輸入特征圖進行切分，根據切分狀態和所述輸出特征圖的數量確定所述卷積計算模塊的工作模式。

可選地，所述9個計算單元形成3×3卷積核，每一所述計算單元將其生成的乘加結果傳遞至下一個與其連接的計算單元，或者經由所述計算單元所在行的FIFO緩存傳遞至下一行的計算單元，該計算單元以其接收到的乘加結果為初始值繼續進行乘加計算。

可選地，所述FIFO緩存不小于所述輸出特征圖的行長度。

可選地，所述加速器還包括：DRAM模塊，用于存儲原始圖像以及所述最終結果；DMA模塊，用于從所述DRMA模塊中獲取所述原始圖像，并生成所述原始圖像對應的輸入特征圖，以及從所述全連接層計算模塊中獲取所述最終結果并傳輸至所述DRMA模塊；緩存模塊，用于緩存所述計算單元和乘加器的計算參數；控制模塊，用于控制所述卷積計算模塊、非線性及池化模塊、全連接層計算模塊和DMA模塊。