[發(fā)明專利]一種基于FPGA的多并行策略卷積網絡加速器

在審

• 申請?zhí)枺?/td>: 202010841322.4
• 申請日: 2020-08-20
• 公開（公告）號: CN112070210A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設計）人: 王堃;王銘宇;吳晨
• 申請（專利權）人: 成都恒創(chuàng)新星科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 楊保剛

本發(fā)明公開了一種基于FPGA的多并行策略卷積網絡加速器，涉及網絡計算領域。本發(fā)明包括單層網絡計算結構，所述單層網絡計算結構包括BN層、卷積層、激活層和池化層，這四層網絡形成流水線結構，BN層，對輸入的數據進行合并；卷積層，進行大量的乘法以及加法運算；所述卷積層包括第一層卷積、中間層卷積和最后一層卷積，并且使用輸入并行、像素并行以及輸出并行中一種或者多種進行卷積運算；激活層以及池化層，將卷積層的輸出結果進行流水計算；經過池化、激活后的最終結果存到隨機存儲器RAM中。本發(fā)明組合了三種并行結構，能分別任意配置不同的并行度，具備高度的靈活性，自由組合，實現較高的并行處理效率。

技術領域

本發(fā)明涉及網絡計算領域，具體涉及一種基于FPGA的多并行策略卷積網絡加速器。

背景技術

近年來，深度學習大大加速了機器學習和人工智能的發(fā)展且在各個研究領域和商業(yè)應用都取得了顯著的成效。

現場可編程門列陣(Field Programmable Gate Array，FPGA)是深度學習算法嵌入式實現的首選平臺之一。FPGA功耗低，有一定的并行度，并且FPGA專注于解決算法的實時性問題。

FPGA加速器可以分為定點型加速器和浮點型加速器。定點型加速器主要針對于卷積計算過程設計并行加速單元，實現高效的卷積計算。浮點型加速器同樣也針對于卷積計算過程設計并行加速單元進行計算加速，或通過傅里葉變化，將卷積計算轉換為更適合硬件并行實現的過程。浮點型加速器計算效率低于定點型加速器，而定點型加速器常忽略定點網絡的精度問題。為了解決精度問題，現有的量化方法更多偏向于軟件實現，不考慮FGPA的計算特點，計算復雜度較高，實現效率較低。

針對上述問題，現有辦法為提出Google(IAO)，采用全整型(Integer ArithmeticOnly，IAO)方法計算表達網絡的前向推理過程，既滿足FPGA平臺的計算特點，也保證網絡量化后的精度，但存在計算冗余問題。所以，為了滿足網絡的推理計算速度，提出一種基于FPGA的多并行策略卷積網絡加速器

發(fā)明內容

本發(fā)明的目的在于：提供了一種基于FPGA的多并行策略卷積網絡加速器，組合了三種并行結構：輸入并行、像素并行以及輸出并行，這三種并行結構能分別任意配置不同的并行度，具備高度的靈活性，可針對不同的目標設備自由組合，實現較高的并行處理效率。

本發(fā)明采用的技術方案如下：

本發(fā)明是一種基于FPGA的多并行策略卷積網絡加速器，包括單層網絡計算結構，所述單層網絡計算結構包括BN層、卷積層、激活層和池化層，這四層網絡形成流水線結構，

BN層，對輸入的數據進行合并；

卷積層，進行大量的乘法以及加法運算；所述卷積層包括第一層卷積、中間層卷積和最后一層卷積，并且使用輸入并行、像素并行以及輸出并行中一種或者多種進行卷積運算；

激活層以及池化層，將卷積層的輸出結果進行流水計算；

經過池化、激活后的最終結果存到隨機存儲器RAM中。

進一步的，所述輸入并行為利用特征模板并行處理N幅輸入的特征圖，輸入特征圖按照逐行逐列的順序進入行緩存中，在每個行緩存的出口處獲得特征模板大小的數據；

所述像素并行為同時完成多個連續(xù)像素的卷積過程，采用8bit像素策略；

所述輸出并行能并行處理N幅輸入特征圖，相同的輸入特征圖與N組輸出通道的權重計算卷積，得到不同的輸出特征。

進一步的，所述特征模板大小設定為3×3。

進一步的，所述第一層卷積處理過程的特征模板大小為3×3，處理RGB圖像，使用輸入并行實現整個卷積過程；