[發明專利]一種卷積運算電路及其運算方法

在審

• 申請號: 202111193721.5
• 申請日: 2021-10-13
• 公開（公告）號: CN113869498A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 林廣棟;陸俊峰;黃光紅;顧大曄
• 申請（專利權）人: 安徽芯紀元科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/15
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 趙娟

本發明提出一種卷積運算電路及其運算方法，卷積運算電路由PE陣列組成，同時支持矩陣乘法運算和二維卷積運算；當執行矩陣乘法運算時，PE分別接收來自行方向上的左矩陣行輸入和來自列方向上的右矩陣列輸入，將兩者相乘后累加到本地累加寄存器；當執行二維卷積運算時，PE接收來自行方向上的輸入特征圖輸入，將其與內部存儲的卷積核權重相乘后與上一行PE輸出的部分和進行累加，再向下一行輸出累加后的部分和；本發明在PE內部設置多個權重寄存器，把多通道的卷積核權重折疊式地存儲在一列PE內部，在PE陣列的底部設置先進先出存儲器，用于存儲中間計算結果，避免反復在存儲器和PE之間傳輸權重和中間計算結果，提高運算效率。

技術領域

本發明涉及卷積運算技術領域，尤其是一種同時支持矩陣乘法運算和二維卷積運算的卷積運算電路及其運算方法。

背景技術

卷積層是卷積神經網絡的基礎層之一，卷積運算是深度學習領域最主要的運算類型，可占卷積神經網絡90％以上的運算量，而在剩余計算中，全連接層的計算又占了很大一部分。全連接層的計算可以視為矩陣乘法計算，因此，深度學習中的絕大部分計算是卷積運算和矩陣乘法計算。

有一種卷積運算方式是通過im2col運算，將卷積運算轉換為矩陣乘法運算，該方式將卷積核展開為矩陣，將輸入特征圖也轉換為矩陣。將卷積核中一個窗口的權重轉換為另一個矩陣的一列，所有卷積核的權重組合在一起就形成了新的卷積核矩陣；將輸入特征圖中的每一個滑動窗口轉換為矩陣的一行，所有滑動窗口的數據組合在一起就形成了新的特征圖矩陣；卷積核矩陣與特征圖矩陣進行矩陣乘法，即得卷積結果。

若通過軟件實現im2col運算，由于同一特征圖數據會出現在多個滑動窗口中，造成矩陣中存在大量重復元素，額外占用大量內存和帶寬；若通過硬件實現im2col運算，則需要額外設計復雜的硬件電路。針對卷積運算，已有專門的硬件電路予以支持，此類硬件電路通常采用脈動陣列方式，將權重固定在運算單元上，將卷積產生的部分和在運算單元間流動并累加，直至完成所有部分和的累加，在最后一個運算單元上輸出卷積結果。

然而，截至目前，深度學習領域尚未出現能夠同時支持矩陣乘法運算和二維卷積運算的電路結構。

發明內容

針對深度學習領域同時支持矩陣乘法運算和二維卷積運算的電路結構的空白，本發明提出一種同時支持矩陣乘法運算和二維卷積運算的卷積運算電路及其運算方法。

本發明保護一種卷積運算電路，由m行n列運算單元(PE：Processing Element)組成，同時支持矩陣乘法運算和二維卷積運算；

當執行矩陣乘法運算時，所述運算單元分別接收來自行方向上的左矩陣行輸入和來自列方向上的右矩陣列輸入，將兩者相乘后累加到本地累加寄存器；

當執行二維卷積運算時，所述運算單元接收來自行方向上的輸入特征圖輸入，將其與內部存儲的卷積核權重相乘后與上一行運算單元輸出的部分和進行累加，再向下一行輸出累加后的部分和。

進一步的，所述運算單元主要由乘法器、累加器和權重寄存器構成；所述乘法器的行方向輸入側輸入行方向上的輸入；所述乘法器的列方向輸入側設置擇一選擇的兩路輸入，分別為列方向上的輸入和來自所述權重寄存器的卷積核權重輸入；所述累加器的部分和輸入側設置擇一選擇的兩路輸入，分別為來自本地累加寄存器和上一行運算單元輸出的部分和。

進一步的，每個運算單元內部設置有多個權重寄存器，權重以滑動窗口大小為單位折疊排列在運算單元上，所述權重寄存器與所述乘法器的列方向輸入側之間設有地址選擇控制器，所述地址選擇控制器根據地址選擇寄存器的值對多個權重寄存器中存儲的卷積核權重進行選擇，參與卷積運算。

進一步的，每列運算單元的最后一行運算單元連接有FIFO(First In First Out：先進先出)存儲器，FIFO存儲器輸出連接至第一行運算單元。