[發明專利]一種基于FPGA的卷積神經網絡片上訓練加速器

在審

• 申請號: 202110697592.7
• 申請日: 2021-06-23
• 公開（公告）號: CN113298237A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 陸生禮;疏建;王漢霖;龐偉
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F15/78
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 熊玉瑋

本發明公開一種基于FPGA的卷積神經網絡片上訓練加速器，屬于計算、推算或計數的技術領域。本卷積神經網絡片上訓練加速器主要包括：輸入數據緩存器、權重數據緩存器、中間運算值緩存器、多模式PE運算單元、最值統計模塊、批量歸一化模塊、激活函數運算模塊、量化模塊、最大池化模塊、梯度更新模塊、批量歸一化更新模塊、編碼模塊以及邏輯控制模塊。本發明通過對各模塊的優化設計，實現同時對多張圖進行運算，增加了硬件加速器運行時的并行性，降低了對硬件資源的需求，并減少訓練過程中的數據流動量，提高了運算效率。本發明通過盡可能充分利用硬件資源，而較為創新地提出了在資源有限的FPGA開發板上進行卷積神經網絡訓練的實現方法。

技術領域

本發明公開一種基于FPGA的卷積神經網絡片上訓練加速器，涉及卷積神經網絡訓練計算的硬件加速結構，屬于計算、推算或計數的技術領域。

背景技術

CNN（Convolutional Neural Network，卷積神經網絡）在各種要求苛刻的應用中取得了巨大的成果，尤其在圖像分類和對象檢測中表現卓越。而目前的大部分卷積神經網絡均在GPU上對其進行訓練，GPU的通用性導致其對神經網絡的運算效率不高，通常只能依賴算法提升其效率。當在GPU上進行離線訓練時，往往需要消耗大量的時間和能量。除此之外，由于移動設備的不斷普及以及性能的不斷增強，在資源有限的可移動設備上進行神經網絡的前向推理部署，絕不是神經網絡發展的終點，因此，在資源有限的移動設備上實現神經網絡的訓練至關重要，也是未來的必然發展趨勢。

CNN的訓練不僅要求實現神經網絡的前向推理計算，還需要進行反向傳播和參數更新等操作。一方面，卷積神經網絡是計算密集型和訪存密集型模型，通常在GPU上進行網絡訓練，這導致其訓練所要求的硬件配置高且便攜性很差，并且需要消耗大量的能量和時間，而對訓練針對性設計的硬件加速器往往可以大幅度降低運算功耗并保持速度不變甚至更快。另一方面，常規離線訓練好的卷積神經網絡一旦在移動端部署，其效果便無法根據不同的環境在移動端上進行進一步訓練以得到優化，這使得神經網絡的靈活性較差，只能依靠在離線訓練時對數據集合理安排的方式以獲得可接受的結果。因此，實現支持多種卷積神經網絡的訓練加速器有利于降低訓練神經網絡的成本，有利于在移動設備進行部署，增加神經網絡訓練實現的便攜性,增加神經網絡使用場景的靈活性。

目前，現有技術通過在移動端部署基于FPGA的加速器實現卷積神經網絡的前向推理運算，并對前向推理運算的各個運算步驟針對性地設計一個專用運算硬件模塊以實現具體的運算操作，每個模塊功能較為單一，且現有專利大多數針對的是神經網絡結構較為單一的網絡形態，數據量較小且所能實現的功能單一。本發明旨在針對卷積神經網絡整個訓練過程的運算步驟進行針對性設計，提供一種加速卷積神經網絡片上訓練運算全過程的FPGA實現方案。

發明內容

本發明的發明目的是針對上述背景技術中提到的不足，提供一種基于FPGA的卷積神經網絡片上訓練加速器，通過分解卷積神經網絡在訓練過程中的運算步驟，根據各運算步驟處理數據的相似性，針對性地設計加速器的運算模式并激活相應的運算模塊，在數據傳遞時盡可能地實現數據復用，實現以較低功耗和較快速度完成卷積神經網絡訓練全運算過程的發明目的，解決現有基于FPGA的加速器僅實現卷積神經網絡前向推理運算而不涉及反向和梯度更新操作的技術問題。

本發明為實現上述發明目的采用如下技術方案：

一種基于FPGA的卷積神經網絡片上訓練加速器，包括：控制模塊、輸入數據緩存器、權重數據緩存器、PE模塊、中間運算值緩存器、多功能運算模塊。

控制模塊，在卷積層的前向運算以及反向運算過程中使能PE模塊工作于權值固定模式，在全連接層的前向運算和反向運算過程中使能PE模塊工作于輸出固定模式，在卷積層更新梯度的過程中使能PE模塊工作于全部開啟的運算模式；在全連接層更新梯度的過程中使能PE模塊工作于僅開啟一行PE單元的運算模式。

輸入數據緩存器，用于從外部存儲讀取的輸入圖數據或輸入圖經所有卷積層后得到的一維張量或輸入圖在各網絡層的激活張量。