[發明專利]一種卷積運算電路及其運算方法

在審

• 申請號: 202111193721.5
• 申請日: 2021-10-13
• 公開（公告）號: CN113869498A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 林廣棟;陸俊峰;黃光紅;顧大曄
• 申請（專利權）人: 安徽芯紀元科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/15
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 趙娟

1.一種卷積運算電路，其特征在于，由m行n列運算單元PE組成，同時支持矩陣乘法運算和二維卷積運算；

當執行矩陣乘法運算時，所述運算單元分別接收來自行方向上的左矩陣行輸入和來自列方向上的右矩陣列輸入，將兩者相乘后累加到本地累加寄存器；

當執行二維卷積運算時，所述運算單元接收來自行方向上的輸入特征圖輸入，將其與內部存儲的卷積核權重相乘后與上一行運算單元輸出的部分和進行累加，再向下一行輸出累加后的部分和。

2.根據權利要求1所述的卷積運算電路，其特征在于，所述運算單元主要由乘法器、累加器和權重寄存器構成；

所述乘法器的行方向輸入側輸入行方向上的輸入；

所述乘法器的列方向輸入側設置擇一選擇的兩路輸入，分別為列方向上的輸入和來自所述權重寄存器的卷積核權重輸入；

所述累加器的部分和輸入側設置擇一選擇的兩路輸入，分別為來自本地累加寄存器和上一行運算單元輸出的部分和。

3.根據權利要求2所述的卷積運算電路，其特征在于，每個運算單元內部設置有多個權重寄存器，權重以滑動窗口大小為單位折疊排列在運算單元上，所述權重寄存器設有地址選擇控制器，所述地址選擇控制器根據地址選擇寄存器的值對多個權重寄存器中存儲的卷積核權重進行選擇，參與卷積運算。

4.根據權利要求1-3任意一項所述的卷積運算電路，其特征在于，每列運算單元的最后一行運算單元連接有FIFO存儲器，FIFO存儲器輸出連接至第一行運算單元。

5.一種權利要求3所述的卷積運算電路的運算方法，其特征在于，

當執行矩陣乘法運算時，向運算單元乘法器的行方向輸入側廣播輸入左矩陣的對應行數據，向運算單元乘法器的列方向輸入側廣播輸入右矩陣的對應列數據，每個運算單元在每個周期內將行方向和列方向接收到的數據相乘后累加到本地累加寄存器；

當執行二維卷積運算時，每個卷積核的權重依序存儲在運算電路對應列的運算單元權重寄存器中；若卷積核滑動窗口寬為C，高為R，則計算該卷積核在輸入特征圖矩陣對應行滑動的卷積運算結果時，將卷積核當下執行卷積操作的1-R行輸入特征圖行數據，依次廣播輸入運算電路的第1到C行、第C+1到C行、...、第R*C-C到R*C行；第i+1行的輸入特征圖行數據比第i行的輸入特征圖行數據推遲C個周期輸入PE陣列，每行輸入特征圖行數據依序輸入PE單元，每個周期輸入一個數據；每個運算單元在每個周期內將行方向接收到的數據與經過地址選擇控制器選擇后的卷積核權重相乘后與上一行運算單元輸出的部分和進行累加，并向下一行輸出累加后的部分和，直至最后一行輸出該列的卷積核計算結果。

6.根據權利要求5所述的卷積運算電路的運算方法，其特征在于，當卷積核滑動窗口過大，PE陣列的一列PE無法一次放下1個卷積核的全部權重數據時，按照如下方案進行權重分布：

針對單通道輸入的卷積核，將剩余的權重數據重新從PE陣列的第1行依次向下折疊擺放，一次在PE陣列的一列上依次擺放行卷積核的權重，共擺放次，第i次折疊將權重擺放在運算單元內部的第i個權重寄存器中，其中

針對多通道輸入的卷積核，記輸入通道數為I，按照單通道輸入的卷積核的權重分布方案折疊擺放每一輸入通道的卷積核權重；首先擺放第1輸入通道的權重，每列仍然擺放行卷積核的權重，擺放次之后，依次向下折疊擺放第2個通道的權重，直至第I個通道的權重，共折疊擺放次；第i次折疊把權重擺放在PE內部第i個權重寄存器中，其中