[發明專利]基于Winograd卷積的運算裝置及包含該裝置的神經網絡處理器

有效

• 申請號: 201811048884.2
• 申請日: 2018-09-10
• 公開（公告）號: CN109190756B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 韓銀和;閔豐;許浩博;王穎
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06F17/16;G06F15/80
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇;李科

1.一種基于Winograd卷積的卷積運算單元，應用于神經網絡中的卷積運算，其特征在于，包括乘法器、累加器和第一選通器，所述乘法器用于接收待進行矩陣相乘運算的元素或待進行矩陣點乘運算的元素，所述第一選通器用于接收來自于所述乘法器的輸出值和待進行累加運算的元素，通過控制所述第一選通器將待進行累加運算的元素或者將所述乘法器的輸出值傳遞至所述累加器能夠使該卷積運算單元在多個工作模式之間進行切換，其中，每種工作模式對應Winograd卷積的一種計算類型；所述工作模式包括乘累加模式和點乘模式，其中：當處于所述乘累加模式時，所述卷積運算單元執行權重矩陣與相應轉換矩陣的矩陣乘法運算U＝GgG^T、輸入特征圖矩陣與相應轉換矩陣的矩陣乘法操作V＝B^TdB或者執行針對U和V的點乘結果與相應轉換矩陣的矩陣乘法操作F＝A^T[U⊙V]A，g表示權重矩陣，d表示輸入特征圖矩陣，G、B、A分別表示與權重矩陣g、輸入特征圖矩陣d和點乘結果U⊙V對應的轉換矩陣；當處于所述點乘模式時，所述卷積運算單元執行針對轉換后的權值矩陣U與轉換后的輸入特征圖矩陣V的點乘運算U⊙V；

所述卷積運算單元還包括第二選通器、第三選通器、第四選通器、第五選通器和寄存器，其中：

所述累加器的輸出端連接至所述寄存器的輸入端；

所述第二選通器用于接收進行矩陣相乘運算的元素和待進行矩陣點乘運算的元素，所述第二選通器的輸出端連接至所述乘法器的第一輸入端；

所述第三選通器用于接收進行矩陣相乘運算的元素和來自于所述寄存器的輸出，所述第三選通器的輸出端連接至所述乘法器的第二輸入端；

所述第一選通器的輸出端連接至所述累加器的第一輸入端；

所述第四選通器用于接收“0”值元素和來自于所述寄存器的輸出值，所述第四選通器的輸出端連接至所述累加器的第二輸入端；

所述第五選通器用于接收“0”值元素和來自于所述寄存器的輸出值；

其中，所述第一選通器、第二選通器、第三選通器、第四選通器和第五選通器基于接收到控制信號來確定選通狀態以控制所述卷積運算單元的工作模式。

2.根據權利要求1所述的卷積運算單元，其特征在于，還包括累加模式和輸出模式，當處于所述累加模式時，所述卷積運算單元執行卷積中間結果的加法操作，當處于所述輸出模式時，所述卷積運算單元將獲得的計算結果經由所述第五選通器進行輸出。

3.一種基于Winograd卷積的卷積運算裝置，其特征在于，包括多個權利要求1或2任一項所述的卷積運算單元，該多個卷積運算單元以二維矩陣形式進行分布，其中行卷積運算單元以行胖樹總線進行連接，列卷積運算單元以列胖樹總線進行連接。

4.根據權利要求3所述的卷積運算裝置，其特征在于，所述卷積運算裝置包括16個所述卷積運算單元，組織為4*4二維矩陣形式。

5.一種基于Winograd卷積的神經網絡處理器，其特征在于，包括

根據權利要求3或4任一項所述的卷積運算裝置：用于通過所述多個卷積運算單元在多個工作模式之間進行切換來實現Winograd卷積運算；

控制單元：用于根據Winograd卷積的計算過程生成控制信號以控制所述卷積運算裝置中的所述多個卷積運算單元在多個工作模式之間進行切換。

6.根據權利要求5所述的神經網絡處理器，其特征在于，還包括存儲器和緩存模塊，其中：

所述存儲器用于存儲已訓練好的權重矩陣值、輸入特征圖矩陣值以及實現Winograd卷積的轉換矩陣值；

所述緩存模塊用于從所述存儲器加載待計算的權重矩陣值、輸入特征圖矩陣值以及對應的實現Winograd卷積的轉換矩陣值。