[發明專利]基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器

在審

• 申請號: 202111146454.6
• 申請日: 2021-09-28
• 公開（公告）號: CN113869494A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 魏繼增;儲旭
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

1.一種基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，包括，直接存取控制器(1)、AXI4總線接口協議(2)、用于存放高并行卷積核與特征圖數據的高并行緩存區(3)、卷積計算器(4)、用于存放分段式卷積結果的分段式緩存區(5)、緩存區控制器(6)和狀態控制器(7)；其中，所述AXI4總線接口協議(2)與所述直接存取控制器(1)之間通過總線FIFO做為一級緩存，所述直接存取控制器(1)與外部存儲器和處理器(8)通過總線連接，所述直接存取控制器(1)通過一級緩存和總線分別與所述高并行緩存區(3)和分段式緩存區(5)連接；所述緩存區控制器(6)分別連接高并行緩存區(3)和分段式緩存區(5)用于控制高并行緩存區(3)和分段式緩存區(5)的讀寫使能和地址操作，所述狀態控制器(7)分別連接外部存儲器和處理器(8)、卷積計算器(4)和緩存區控制器(6)，用于根據處理器(8)的使能信號控制卷積計算器(4)和緩存區控制器(6)的工作，所述高并行緩存區(3)、卷積計算器(4)和分段式緩存區(5)依次連接。

2.根據權利要求1所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的直接存取控制器(1)為硬件加速器和外部存儲器和處理器(8)進行通信，直接存取控制器(1)和處理器(8)均遵循AXI4總線協議，數據接收和發送均經過直接存取控制器(1)緩沖，輸入和輸出均由FPGA中的FIFO提供數據流緩存。

3.根據權利要求1所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的高并行緩存區(3)是由64個特征圖緩存區，64個卷積核緩存區共同構成，在存儲數據時數據是串行依次進入對應的緩存區，讀出數據時使用統一的地址并行讀出數據。

4.根據權利要求1所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的分段式緩存區(5)是由FPGA中的63個FIFO組成，其中63個FIFO分為6個組，依次為32個一組、16個一組、8個一組、4個一組、2個一組、1個一組，以存放所述卷積計算器(4)的計算結果，所述分段式緩存區(5)的寫使能由所述卷積計算器(4)給出，讀出邏輯由所述緩存區控制器(6)控制。

5.根據權利要求1所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的卷積計算器(4)為通用定點數計算器，以FPGA中的DSP48為基礎，由并行的64個計算單元和累加邏輯組成，單個時鐘周期同時進行64個乘加計算，計算數據由所述高并行緩存區(3)提供，并將計算結果緩存至所述分段式緩存區(5)。

6.根據權利要求1所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的狀態控制器(7)是由5個狀態構成，分別為等待、卷積核緩存、特征緩存、計算和發送；其中，卷積核緩存和特征緩存狀態將信號發到高并行緩存區(3)；計算狀態將信號發到卷積計算器(4)；發送狀態將信號發到分段式緩存區(5)；等待狀態是狀態控制器(7)等待外部處理器的使能信號。

7.根據權利要求1所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的緩存區控制器(6)是由包含多路選擇器在內的組合邏輯組成，負責接收狀態控制器(7)發送來的對于高并行緩存區(3)和分段式緩存區(5)的信號，并進行處理后發送到高并行緩存區(3)和分段式緩存區(5)。

8.根據權利要求1或5所述的基于高層次綜合的神經網絡卷積FPGA嵌入式硬件加速器，其特征在于，所述的卷積計算器(4)的計算過程為：

待計算數據并行進入卷積計算器(4)，每個時鐘共計有64組由卷積核和特征圖構成的數據進入卷積器計算(4)，對于卷積核大小為3×3的卷積計算器(4)，具有9個乘法器卷積器計算共需十個時鐘計算出結果，其中前九個時鐘執行乘累加，第十個時鐘將結果發送至分段式緩存區；當狀態控制器(7)得知前九個時鐘執行乘累加的結果不是最終結果時，則狀態控制器(7)控制卷積計算器(4)繼續進行計算，直至完成計算。