[發明專利]一種基于FPGA的卷積神經網絡加速器及其優化方法

在審

• 申請號: 202111543413.0
• 申請日: 2021-12-16
• 公開（公告）號: CN114186679A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 李甫;李旭超;付博勛
• 申請（專利權）人: 西安電子科技大學重慶集成電路創新研究院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 重慶萃智邦成專利代理事務所(普通合伙) 50231
• 代理人: 許攀

1.一種基于FPGA的卷積神經網絡加速器，其特征在于，所述加速器包括通過FPGA實現的程序指令存儲單元、程序指令譯碼單元、數據控制單元、數據緩沖單元、參數緩沖單元、片外存儲單元、并行處理單元、圖像緩存單元、圖像拼接單元，和在動態隨機存取內存上實現的片外存儲單元。

2.根據權利要求1所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述程序指令存儲單元包含一片ROM，ROM中存儲由卷積神經網絡層L_n的前向推理指令CN_n。

3.根據權利要求2所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述前向推理指令CN_n由所述卷積神經網絡層L_n的操作類型、卷積步長、卷積核數量、輸入特征圖通道數、輸入特征圖寬度、輸入特征圖起始地址、輸出特征圖寬度、神經網絡參數起始地址、輸出圖像塊起始地址、卷積偏置起始地址、填充標志對應的二進制數據順次拼接而成。

4.根據權利要求3所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述程序指令譯碼單元，順次級聯于所述指令存儲單元與所述數據控制單元之間。

5.根據權利要求4所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述數據控制單元連接所述并行處理單元、所述圖像緩存單元、所述數據緩沖單元、所述參數緩沖單元、所述圖像拼接單元和所述片外存儲器控制單元。

6.根據權利要求5所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述參數緩存單元內設置有兩個相同的參數緩沖器。

7.根據權利要求6所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述并行處理單元包括3×3卷積單元、1×1卷積單元和池化單元。

8.根據權利要求7所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述數據緩存單元內設置有兩個相同的數據緩沖器。

9.根據權利要求8所述的基于FPGA的卷積神經網絡加速器，其特征在于，所述數據緩沖器內部包含一個尺寸為的嵌入式塊RAM，其中，x₀表示3×3卷積單元的數量，W、H分別表示并行處理單元一次可處理的圖像塊的寬度和高度。

10.一種基于FPGA的卷積神經網絡加速器的優化方法，其特征在于，所述方法包括以下步驟：

步驟一：獲取不同操作類型的前向推理指令CN_n前向推理所使用的時鐘周期數；

步驟二：構建卷積神經網絡前向推理一次所使用的時鐘周期數；

步驟三：構建硬件資源約束表達式；

步驟四：構建并求解有約束的優化函數F'；

步驟五：根據優化函數F'的最優解設置權利要求7所述的3×3卷積單元、1×1卷積單元、池化單元的數量。