[發明專利]一種基于FPGA實現CNN加速的系統

在審

• 申請號: 202010118764.6
• 申請日: 2020-02-23
• 公開（公告）號: CN111353586A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 楊繼林
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 黃曉燕

本發明提供了一種基于FPGA實現CNN加速的系統，所述系統包括外部主控制器，用于處理CNN模塊的輸入、輸出并管理CNN模塊的運行；外部存儲器，用于存儲CNN模塊的輸入數據、CNN模塊計算過程的中間數據以及CNN模塊的最終計算結果。CNN模塊包括卷積子模塊、激活子模塊、池化子模塊和全連接子模塊，子模塊的配置方式為單獨配置或流水線模式配置；所述存儲訪問控制模塊用于實現各子模塊對外部存儲器訪問的仲裁，并完成接口協議轉換。基于FPGA硬件可編程的特性，結合硬件結構，更好地匹配了CNN大量并行運算的特點，在計算結構上做到完全的并行化，實現CNN的加速計算。

技術領域

本發明涉及卷積神經網絡計算技術領域，尤其是一種基于FPGA實現CNN加速的系統。

背景技術

CNN(Convolutional Neural Network，卷積神經網絡)是神經網絡的一個分支，廣泛應用于圖像處理領域。LeNet-5是CNN的開山之作，奠定了現代CNN理論基礎的模型；AlexNet是第一個現代意義上的CNN，引入了數據擴充、激活函數和多GPU并行計算的概念；牛津大學提出的VGG模型向人們證明了“神經網絡越深越好”的理念，此后神經網絡逐漸有了“深度學習”這個別名；GoogleNet對網絡結構做了大膽的革新，將不同尺寸的卷積組合起來，讓網絡自己判斷該采用哪種特征；SqueezeNet的關注點從提升精度轉換為如何用更少的參數和計算量來達到同樣的精度。

由于CNN的應用范圍越來越廣，精度要求越來越高，導致CNN的規模也越來越大；CNN運算的特殊性限制了采用性能更強的通用芯片實現更大規模CNN的效率，因為這些通用芯片中相當一部分子模塊并不能用于CNN的加速。因此人們也開始使用專用芯片、GPU等完成對大型CNN的加速。GPU(Graphics Processing Uni，圖形處理器)作為圖像處理器，設計初衷是為了應對圖像處理中需要的大規模并行計算，其使用的單指令流多數據流結構對矢量運算的支持較好，剛好可以用來加速CNN。GPU出色的浮點計算性能提高了卷積和分類的性能，同時又達到所需的精度。CNN需要很高的內在并行度、大量的浮點計算能力以及矩陣運算，而GPU可以提供這些能力，并在相同的精度下，相對傳統CPU的方式，擁有更快的處理速度、更少的服務器投入和更低的功耗。

然而GPU對CNN的加速無法充分發揮并行計算優勢，雖然GPU具有多個流處理單元可以進行并行運算，但軟件串行執行的特點限制了GPU在加速CNN時的并行度，其并行度的優勢不能完全發揮。

發明內容

本發明提供了一種基于FPGA實現CNN加速的系統，用于解決現有GPU對CNN加速無法充分發揮并行計算優勢的問題。

為實現上述目的，本發明采用下述技術方案：

本發明提供了一種基于FPGA實現CNN加速的系統，所述系統包括外部主控制器、外部存儲器以及基于FPGA構建的CNN模塊、存儲訪問控制模塊；

所述外部主控制器用于處理CNN模塊的輸入、輸出并管理CNN模塊的運行；

所述外部存儲器用于存儲CNN模塊的輸入數據、CNN模塊計算過程的中間數據以及CNN模塊的最終計算結果；

所述CNN模塊包括卷積子模塊、激活子模塊、池化子模塊和全連接子模塊，子模塊的配置方式為單獨配置或流水線模式配置；

所述存儲訪問控制模塊用于實現各子模塊對外部存儲器訪問的仲裁，并完成接口協議轉換。

進一步地，所述系統還包括外部協控制器，所述外部協控制器設置在外部主控制器和CNN模塊之間，用于進行寄存器的配置和中斷的響應。

進一步地，所述外部存儲器包括外部存儲器A和外部存儲器B，所述外部存儲器、外部主控制器和CNN模塊之間采用乒乓操作。