[發明專利]一種卷積神經網絡加速器及其工作方法

有效

• 申請號: 202110656789.6
• 申請日: 2021-06-11
• 公開（公告）號: CN113312285B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 王碩;楊靚;金玉琳;閆鑫;楊晨東;秦晴;紀虎東;朱青;程智
• 申請（專利權）人: 西安微電子技術研究所
• 主分類號: G06F13/28
• 分類號: G06F13/28;G06N3/0464;G06N3/08;G06N3/063
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 崔方方

1.一種卷積神經網絡加速器，其特征在于，包括寄存器管理單元、全局緩存模塊、卷積陣列控制模塊、PE陣列、Pooling層和激活函數；

所述寄存器管理單元用于存儲對卷積陣列的配置文件，當前卷積計算的各項參數信息，同時記錄卷積陣列當前的運算狀態，供主處理器查詢；

寄存器管理單元通過AXI進行訪問，支持DMA操作；

所述全局緩存模塊用于對Filter、Ifmap和Psum進行緩存；

所述卷積陣列控制模塊用于根據配置信息進行卷積陣列的配置，在接收到啟動命令后根據寄存器管理單元提供的參數信息進行相應的數據交互操作，在全局緩存模塊和卷積陣列之間進行Filter、Ifmap和Psum的傳遞；

所述卷積陣列由大量PE單元級聯而成，用于實現卷積運算，PE陣列的拓撲結構根據寄存器管理單元內的配置參數進行調整；

所述Pooling層用于進行池化計算；

所述激活函數用于進行激活函數的計算，并對計算結果進行量化；

所述PE單元由9個乘累加單元和3個加法器組成；

所述乘累加單元以3×3的拓撲結構排列，組成了一個3×3的卷積核；

所述3個加法器用于將卷積核的卷積結果進行累加，得到完整的二維卷積結果；

所述PE單元的工作流程為：

Filter加載至對應的乘累加單元內，Ifmap數據按行對乘累加單元進行廣播，在加載Ifmap的過程中，Filter保持不變，Ifmap加載的行數根據需要進行配置；根據配置完成Ifmap加載后，更新Filter的值，進行下一輪計算；

在PE單元中每行乘累加單元均可完成一行Filter在Ifmap上的一維卷積運算，每加載一行Ifmap，一行乘累加單元得到該行Ifmap與對應Filter的一維卷積結果；

乘累加單元各自進行獨立的一維卷積計算，乘累加單元的計算結果在加法器中進行累加，得到完整的二維卷積結果；

二維卷積結果由Psum_out輸出；

若PE單元本次計算的結果是中間結果，那么在下一輪計算中，將所述結果從Psum_in輸入，與下一輪的計算結果進行累加；

所述PE單元通過Filter的擴展、C/M方向的擴展或E/M方向的擴展的方式進行級聯，擴展成PE陣列；

Filter的擴展的方式為：

每行的PE單元通過級聯接口連接在一起，每行的PE單元的級聯輸出端口CarryOut直連PE單元的級聯輸入端口Carryin，所述PE單元Psum_in/Psum_out端口與加法器陣列被旁路，最后一列的第一個PE單元的Psum_out接口直連最后一個PE單元的Psum_in；

C/M方向的擴展方式為：通過級聯進行卷積核之間的并行計算和卷積核內部通道之間的并行計算；

E/M方向的擴展方式為：通過級聯進行同一Psum不同行之間的并行計算。

2.根據權利要求1所述的卷積神經網絡加速器，其特征在于，所述PE單元的工作流程還包括：

每行PE陣列的計算結果除與另外兩行PE陣列的計算結果進行累加外，還通過級聯輸出端口Carry_out輸出，PE單元通過級聯輸入端口Carry_in和Psum_in進行擴展，Carry_in連接的是上一級PE的Carryout端口，Psum_in連接的是上一級PE的Psum_out端口或全局緩存模塊。

3.根據權利要求1所述的卷積神經網絡加速器，其特征在于，PE陣列的緩存在SRAM上，所有PE單元可分配的存儲空間均是可調的，所有PE單元均可訪問全局緩存模塊的任意一個存儲區；

SRAM和PE單元的輸入/輸出管腳之間設置了一片FIFO，所述FIFO與SRAM相連端口的數據帶寬大于所有計算模塊全局緩存模塊輸入/輸出端口的數據帶寬之和，保證計算模塊對全局緩存模塊的連續讀寫；

在計算之前，對全局緩存模塊進行配置，將不同計算模塊預計訪問的地址空間范圍加以定義，全局緩存模塊中各個計算模塊對應的FIFO便會依照配置信息自動進行地址的計算，完成計算模塊和全局緩存模塊之間的數據交換。