[發明專利]一種基于FPGA的支持通道分離卷積的神經網絡加速器

有效

• 申請號: 202110100516.3
• 申請日: 2021-01-26
• 公開（公告）號: CN112766479B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 陸生禮;蘇晶晶;龐偉;劉昊
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F13/28;G06F7/485
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 沈廉

1.一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：該神經網絡加速器包括Ping-Pong寄存器文件模塊、可配置數據流的ORMU陣列、功能單元以及存儲器接口模塊；

所述的Ping-Pong寄存器文件模塊通過配置總線接受來自外部控制處理器的配置信息以及啟動計算等控制命令，根據相關配置和控制信息，對數據流進行配置并控制計算過程，同時也向外部控制器發送加速器各單元狀態信息以及計算完成中斷信號；

可配置數據流的ORMU陣列包含4片獨立的可配置數據流的ORMU陣列片；所述的可配置數據流的ORMU陣列片通過可配置的片上網絡將片上存儲器和ORMU計算單元互聯，以滿足不同數據帶寬需求的神經網絡的計算；

功能單元模塊接收經ORMU陣列計算完成得到的輸出特征值，對其進行偏置加、歸一化、激活以及池化等操作，最終輸出神經網絡的計算結果；

存儲器接口模塊實現讀取存儲于外部存儲器的輸入特征值和權重值，以及將輸出特征值寫入外部存儲器。

2.如權利要求1所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述Ping-Pong寄存器文件模塊包含配置寄存器組，命令寄存器組以及狀態寄存器組，其中配置寄存器組存儲卷積神經網絡基本參數以及ORMU陣列數據流配置信息，同時采用Ping-Pong操作，即采用兩組配置寄存器組，計算單元在采用第一組的配置信息時，CPU可以通過第二組配置寄存器組配置下一層的參數，通過此種機制實現加速器在不同層計算的切換，隱藏CPU的再配置時間。

3.如權利要求1所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述可配置數據流的ORMU陣列包括主路由器簇、子路由器簇、全局緩沖區簇與ORMU簇，其中全局緩沖區簇用以存放輸入特征值和計算部分和；子路由器簇和主路由器簇用于將全局緩沖區和ORMU互聯，根據不同神經網絡存在的數據復用機會以及數據帶寬需求的差異，將片上網絡配置成不同數據流模式；ORMU簇通過輸出特征值行穩定完成輸出特征值的行映射，并盡可能的提高數據復用，以高效的完成卷積計算。

4.如權利要求3所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述的全局緩沖區簇包含3個輸入緩沖子區和4個部分和緩沖子區；輸入緩沖子區存儲來自外部存儲器的輸入特征值，部分和緩沖區存取ORMU簇計算卷積過程中產生的部分和；全局緩沖區簇中的緩沖子區與路由器簇中的相應的子路由器單獨互聯。

5.如權利要求3所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述主路由器簇、子路由器簇包含3個輸入路由器、3個權重路由器以及4個部分和路由器，分別對應輸入特征值緩沖區，權重緩沖區以及部分和緩沖區；權重路由器直接與外部存儲器互聯；每一個路由器均與ORMU簇中所有的ORMU互聯。

6.如權利要求5所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述主路由器簇、子路由器簇根據卷積神經網絡的結構不同配置成不同的數據流模式，包括單播，組多播，交叉多播以及廣播。

7.如權利要求3所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述ORMU簇由1*4個ORMU單元構成，ORMU單元包含3個輸入寄存器棧，1個部分和寄存器棧，3個由SRAM構成的權重緩存區以及3個乘加法器。

8.如權利要求7所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述ORMU單元支持傳統卷積、通道分離卷積以及全連接的映射和計算。

9.如權利要求1所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述功能單元包括4片功能片，分別對應4片可配置的ORMU陣列用以實現。

10.如權利要求1所述的一種基于FPGA的支持通道分離卷積的神經網絡加速器，其特征在于：所述存儲器接口模塊包括用于讀取輸入特征值的DMA_IFM、讀取權重的DMA_WT以及將輸出特征值寫入外部存儲器的DMA_OFM三個DMA。