[發(fā)明專利]一種基于FPGA設(shè)計(jì)的支持稀疏剪枝的卷積神經(jīng)網(wǎng)絡(luò)加速器

有效

• 申請(qǐng)?zhí)枺?/td>: 201911383518.7
• 申請(qǐng)日: 2019-12-27
• 公開(kāi)（公告）號(hào): CN111242277B
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 邱蔚;丁永林;曹學(xué)成;廖湘萍;李煒
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第五十二研究所
• 主分類號(hào): G06N3/0464
• 分類號(hào): G06N3/0464;G06N3/063;G06F15/78
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于FPGA設(shè)計(jì)的支持稀疏剪枝的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述基于FPGA設(shè)計(jì)的支持稀疏剪枝的卷積神經(jīng)網(wǎng)絡(luò)加速器包括總線接口單元、權(quán)重存儲(chǔ)及管理單元、輸入緩存FIFO陣列、MAC計(jì)算陣列、中間結(jié)果緩存RAM陣列、流水線加法器陣列及輸出緩存及管理單元，其中：

所述總線接口單元用于從DDR內(nèi)存向所述輸入緩存FIFO陣列傳輸特征圖列，所述特征圖列由特征圖上大小等同于卷積核大小的數(shù)據(jù)按預(yù)設(shè)規(guī)則組成；

所述輸入緩存FIFO陣列包含N個(gè)FIFO，各所述FIFO接收所述總線接口單元輸出的不同的特征圖列，并按照先進(jìn)先出原則向所述MAC計(jì)算陣列輸出特征圖列中的待計(jì)算數(shù)據(jù)；

所述權(quán)重存儲(chǔ)及管理單元用于向所述MAC計(jì)算陣列中輸出權(quán)重列，所述權(quán)重列由所有卷積核同一通道中相同位置的非零權(quán)重組成，并且每個(gè)非零權(quán)重具有與所在卷積核的編號(hào)相同的索引值；

所述MAC計(jì)算陣列包含與各FIFO對(duì)應(yīng)的MAC組，所述MAC組中包含多個(gè)乘加器，各MAC組接收從權(quán)重存儲(chǔ)及管理單元輸出的權(quán)重列、以及從對(duì)應(yīng)FIFO輸出的一個(gè)待計(jì)算數(shù)據(jù)，MAC組中各乘加器按序接收權(quán)重列中的一個(gè)非零權(quán)重，計(jì)算非零權(quán)重與待計(jì)算數(shù)據(jù)的乘積得到乘積結(jié)果，并向中間結(jié)果緩存RAM陣列輸出乘累加結(jié)果；

所述中間結(jié)果緩存RAM陣列包含與各MAC組對(duì)應(yīng)的RAM組，所述RAM組中包含多個(gè)中間緩存RAM，所述中間緩存RAM接收對(duì)應(yīng)乘加器輸出的乘累加結(jié)果，并且該乘累加結(jié)果在中間緩存RAM中存儲(chǔ)的地址為用于計(jì)算該乘累加結(jié)果的非零權(quán)重對(duì)應(yīng)的索引值，所述乘累加結(jié)果為乘加器本次計(jì)算的乘積結(jié)果與該乘加器對(duì)應(yīng)的中間緩存RAM中相同地址存儲(chǔ)的中間結(jié)果累加后得到；

所述流水線加法器陣列包含與各RAM組對(duì)應(yīng)的加法器組，各加法器組中包含多個(gè)加法器，各加法器組用于對(duì)應(yīng)RAM組中存儲(chǔ)的中間結(jié)果的求和運(yùn)算，并將求和結(jié)果作為卷積運(yùn)算結(jié)果向所述輸出緩存及管理單元輸出；

所述輸出緩存及管理單元包含與各加法器組對(duì)應(yīng)的多個(gè)輸出緩存RAM，各輸出緩存RAM用于存儲(chǔ)對(duì)應(yīng)加法器組輸出的卷積運(yùn)算結(jié)果。

2.如權(quán)利要求1所述的基于FPGA設(shè)計(jì)的支持稀疏剪枝的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述FIFO、MAC組、RAM組、加法器組、輸出緩存RAM均為N個(gè)，所述N表示并列度，并且每個(gè)FIFO、MAC組、RAM組、加法器組、輸出緩存RAM之間存在一一對(duì)應(yīng)關(guān)系；

各所述MAC組中包含M個(gè)乘加器，所述M為2的冪次，各所述RAM組中包含2*M個(gè)中間緩存RAM，并且每個(gè)乘加器對(duì)應(yīng)連接兩個(gè)中間緩存RAM，乘加器輸出的乘累加結(jié)果作為中間結(jié)果緩存在對(duì)應(yīng)連接的兩個(gè)中間緩存RAM中的一個(gè)，針對(duì)同一特征圖列計(jì)算的中間結(jié)果存儲(chǔ)在同一中間緩存RAM中，并且兩個(gè)中間緩存RAM采用乒乓工作方式進(jìn)行存儲(chǔ)。

3.如權(quán)利要求2所述的基于FPGA設(shè)計(jì)的支持稀疏剪枝的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，各所述加法器組中包含P個(gè)加法器，并且P＝1+2+4+…+2^q，q＝q₁-1，q₁＝log₂M，每組加法器組在其對(duì)應(yīng)的MAC組完成一列特征圖列和該特征圖列對(duì)應(yīng)的卷積核中的所有權(quán)重的運(yùn)算后啟動(dòng)求和運(yùn)算，并且求和運(yùn)算采用流水線的方式進(jìn)行。

4.如權(quán)利要求3所述的基于FPGA設(shè)計(jì)的支持稀疏剪枝的卷積神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，所述求和運(yùn)算采用流水線的方式進(jìn)行包括：

取M個(gè)中間緩存RAM中一個(gè)相同的地址的數(shù)據(jù)，即得到M個(gè)數(shù)據(jù)；

將M個(gè)數(shù)據(jù)作為待累加數(shù)據(jù)，兩兩分組后分別輸入2^q個(gè)加法器中，得到M/2個(gè)數(shù)據(jù)，將M/2個(gè)數(shù)據(jù)作為新的待累加數(shù)據(jù)，兩兩分組后分別輸入2^q-1個(gè)加法器中，循環(huán)執(zhí)行直至將待累加數(shù)據(jù)兩兩分組后輸入2⁰個(gè)加法器中，并將該加法器輸出的結(jié)果作為該地址對(duì)應(yīng)的卷積核與特征圖列最終的卷積運(yùn)算結(jié)果；

依次遍歷M個(gè)中間緩存RAM中相同的地址的數(shù)據(jù)，根據(jù)每次取得的M個(gè)數(shù)據(jù)進(jìn)行求和，得到各個(gè)卷積核與特征圖列最終的卷積運(yùn)算結(jié)果。