[發明專利]針對神經網絡的卷積層與全連接層進行加速的電路結構

有效

• 申請號: 201810120895.0
• 申請日: 2018-02-07
• 公開（公告）號: CN108416434B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 韓軍;蔡宇杰;曾曉洋
• 申請（專利權）人: 復旦大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種針對神經網絡的卷積層與全連接層進行加速的電路結構，其特征在于，通過將運算展開的方式使卷積層與全連接層均映射到同一個矩陣運算單元上；并通過對神經網絡每一層的特征與權重進行重新排序的方式，來減少因為展開后特征、權重讀取地址的不連續而帶來的訪存性能損失；其電路結構包括特征/權重預取模塊、局部緩存、矩陣運算單元、臨時數據累加模塊以及輸出控制模塊；其中：

所述特征/權重預取模塊，用于從外部存儲器中將新的特征以及權重數據取出并放入局部緩存中，同時替換舊的、不再使用的數據；除神經網絡的第一層特征外，其余的所有特征、權重均按照一定的方式進行重新排布過，而第一層特征的重新排布也是按照一定的方式重新排布過的，因此特征/權重預取模塊不需要實現重新排布的功能；

所述局部緩存用于緩存矩陣運算單元所需的輸入數據；

所述矩陣運算單元，用于實現矩陣的運算；在對特征與權重進行重新排列后，卷積層與全連接層的運算均映射為一系列的矩陣運算，這些矩陣運算通過多次調用矩陣運算模塊來實現；

所述臨時數據累加模塊，用于累加矩陣運算模塊送出的數據；在多次累加后，將累加的結果即下一層網絡的輸入特征，送給輸出控制模塊；

所述輸出控制模塊，負責將累加后的結果按上述重新排布方式順序寫回外部存儲器；

所述特征、權重按照一定的方式進行重新排布，具體流程為：

設對于一個大小為C_in*H*W的輸入特征，將其切為H*W個長條，每個長條的長度為C_in；再將這H*W個長條中的數據以順序地址的形式寫入內存中；從低地址開始，第0個長條中的數據存儲在0到C_in-1個數據對應的內存空間中，第1個長條中的數據存儲在C_in到2*C_in-1個數據對應的內存空間中，以此類推，最后一個長條中的數據存儲在(H*W-1)*C_in到C_in*H*W*C_in-1個數據對應的內存空間中；

設卷積核包含C_out個大小為C_in*H*W個子權重矩陣，將每一個子權重矩陣按照輸入特征的形式進行排布，即完成對權重內存分布的重新調整。

2.根據權利要求1所述的針對神經網絡的卷積層與全連接層進行加速的電路結構，其特征在于，特征/權重預取模塊、局部緩存、矩陣運算單元、臨時數據累加模塊和輸出控制模塊的調度采用流水線的機制，使每個時鐘周期所有的硬件單元都處于工作狀態。