[發(fā)明專利]一種基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)片上訓(xùn)練加速器

在審

• 申請(qǐng)?zhí)枺?/td>: 202110697592.7
• 申請(qǐng)日: 2021-06-23
• 公開(kāi)（公告）號(hào): CN113298237A
• 公開(kāi)（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 陸生禮;疏建;王漢霖;龐偉
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06F15/78
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 熊玉瑋

1.一種基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)片上訓(xùn)練加速器，其特征在于，包括：

控制模塊，在卷積層的前向運(yùn)算以及反向運(yùn)算過(guò)程中使能PE模塊工作于權(quán)值固定模式，在全連接層的前向運(yùn)算和反向運(yùn)算過(guò)程中使能PE模塊工作于輸出固定模式，在卷積層更新梯度的過(guò)程中使能PE模塊工作于全部開(kāi)啟的運(yùn)算模式；在全連接層更新梯度的過(guò)程中使能PE模塊工作于僅開(kāi)啟一行PE單元的運(yùn)算模式；

輸入數(shù)據(jù)緩存器，用于從外部存儲(chǔ)讀取的輸入圖數(shù)據(jù)或輸入圖經(jīng)所有卷積層后得到的一維張量或輸入圖在各網(wǎng)絡(luò)層的激活張量；

權(quán)重?cái)?shù)據(jù)緩存器，用于緩存從外部存儲(chǔ)讀取的權(quán)重?cái)?shù)據(jù)或輸入圖在各網(wǎng)絡(luò)層的誤差；

PE模塊，接收控制模塊輸出的使能信號(hào)，在卷積層的前向運(yùn)算過(guò)程中讀入輸入圖數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)后輸出卷積結(jié)果部分和至中間運(yùn)算值緩存器，在全連接層的前向運(yùn)算過(guò)程中讀入輸入圖經(jīng)所有卷積層后得到的一維張量和權(quán)重?cái)?shù)據(jù)后輸出卷積結(jié)果部分和至中間運(yùn)算值緩存器，在卷積層的梯度更新過(guò)程中激活所有PE單元對(duì)輸入圖在各網(wǎng)絡(luò)層的激活張量以及輸入圖在各網(wǎng)絡(luò)層的誤差進(jìn)行卷積運(yùn)算后輸出各卷積層的梯度部分和，在全連接層的梯度更新過(guò)程中激活一行PE單元對(duì)輸入圖在各網(wǎng)絡(luò)層的激活張量以及輸入圖在各網(wǎng)絡(luò)層的誤差進(jìn)行卷積運(yùn)算后輸出全連接層的梯度部分和至中間運(yùn)算值緩存器；

中間運(yùn)算值緩存器，用于緩存PE模塊在各運(yùn)算模式下輸出的中間運(yùn)算值；及，

多功能運(yùn)算模塊，對(duì)卷積層前向運(yùn)算過(guò)程得到的卷積結(jié)果部分和依次進(jìn)行批量歸一化處理、激活處理、量化處理、最大池化處理后輸出輸入圖在各網(wǎng)絡(luò)層的激活張量，對(duì)輸入圖數(shù)據(jù)在各網(wǎng)絡(luò)層的激活張量在反向傳播過(guò)程中得到的輸入圖數(shù)據(jù)在各網(wǎng)絡(luò)層的誤差依次進(jìn)行批量歸一化反向處理、激活反向處理、量化處理、最大池化反向處理，對(duì)梯度更新過(guò)程得到的梯度部分和依次進(jìn)行BN梯度更新處理、梯度更新處理后輸出各層卷積核的梯度更新值。

2.根據(jù)權(quán)利要求1所述一種基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)片上訓(xùn)練加速器，其特征在于，所述輸入數(shù)據(jù)緩存器、權(quán)重?cái)?shù)據(jù)緩存器、中間運(yùn)算值緩存器為乒乓結(jié)構(gòu)的緩存器，當(dāng)其中一片緩存器與 PE模塊交換數(shù)據(jù)時(shí)，另一片緩存器與外部存儲(chǔ)交換數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述一種基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)片上訓(xùn)練加速器，其特征在于，所述權(quán)重?cái)?shù)據(jù)和輸入圖在各網(wǎng)絡(luò)層的激活張量采用浮點(diǎn)格式進(jìn)行存儲(chǔ)。