[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)加速器實(shí)現(xiàn)架構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911076768.6
• 申請(qǐng)日: 2019-11-06
• 公開(kāi)（公告）號(hào): CN111008697B
• 公開(kāi)（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 毛寧;黃志洪;楊海鋼
• 申請(qǐng)（專利權(quán)）人: 北京中科勝芯科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04
• 代理公司: 南京行高知識(shí)產(chǎn)權(quán)代理有限公司 32404
• 代理人: 李曉

1.一種卷積神經(jīng)網(wǎng)絡(luò)加速器實(shí)現(xiàn)架構(gòu)，其特征在于，包括：用于存儲(chǔ)權(quán)值數(shù)據(jù)的第一存儲(chǔ)器、第二存儲(chǔ)器、第三存儲(chǔ)器和第四存儲(chǔ)器；用于存儲(chǔ)特征圖數(shù)據(jù)的第六存儲(chǔ)器、第八存儲(chǔ)器和第十存儲(chǔ)器，用于進(jìn)行卷積運(yùn)算的第五運(yùn)算器、第七運(yùn)算器、第九運(yùn)算器和第十一運(yùn)算器；所述第一存儲(chǔ)器的輸出連接所述第五運(yùn)算器；所述第五運(yùn)算器的輸出連接所述第六存儲(chǔ)器；所述第二存儲(chǔ)器和第六存儲(chǔ)器的輸出連接所述第七運(yùn)算器；所述第七運(yùn)算器的輸出連接所述第八存儲(chǔ)器；所述第三存儲(chǔ)器和第八存儲(chǔ)器的輸出連接所述第九運(yùn)算器，所述第九運(yùn)算器的輸出連接所述第十存儲(chǔ)器；所述第四存儲(chǔ)器和所述第十存儲(chǔ)器的輸出連接所述第十一運(yùn)算器；所述第一存儲(chǔ)器、第五運(yùn)算器和第六存儲(chǔ)器構(gòu)成第一層運(yùn)算；所述第二存儲(chǔ)器、第六存儲(chǔ)器、第七運(yùn)算器和第八存儲(chǔ)器構(gòu)成第二層運(yùn)算；所述第三存儲(chǔ)器、第八存儲(chǔ)器、第九運(yùn)算器和第十存儲(chǔ)器構(gòu)成第二層運(yùn)算；所述第四存儲(chǔ)器、第十存儲(chǔ)器和第十一運(yùn)算器構(gòu)成第四層運(yùn)算；

所述第二層運(yùn)算中的所述第二存儲(chǔ)器包括第204權(quán)值存儲(chǔ)器、第205權(quán)值存儲(chǔ)器、第206權(quán)值存儲(chǔ)器和第207權(quán)值存儲(chǔ)器；所述第六存儲(chǔ)器包括第201特征圖存儲(chǔ)器和第202特征圖存儲(chǔ)器；所述第八存儲(chǔ)器包括第218特征圖存儲(chǔ)器和第219特征圖存儲(chǔ)器；所述第七運(yùn)算器包括第208乘法器、第209乘法器、第210乘法器、第211乘法器、第212加法器、第213加法器、第214激活模塊、第215激活模塊、第216池化模塊、第217池化模塊；所述第201特征圖存儲(chǔ)器和第202特征圖存儲(chǔ)器的輸出連接第203選擇器；所述第203選擇器的輸出連接所述第208乘法器、第209乘法器、第210乘法器、第211乘法器的一個(gè)輸入；所述第208乘法器、第209乘法器、第210乘法器、第211乘法器的另一個(gè)輸入分別連接所述第204權(quán)值存儲(chǔ)器、第205權(quán)值存儲(chǔ)器、第206權(quán)值存儲(chǔ)器和第207權(quán)值存儲(chǔ)器的輸出；所述第208乘法器、第209乘法器的輸出連接所述第212加法器，所述第212加法器的輸出連接所述第214激活模塊，所述第214激活模塊的輸出連接所述第216池化模塊；所述第216池化模塊的輸出連接所述第218特征圖存儲(chǔ)器；所述第210乘法器、第211乘法器的輸出連接所述第213加法器，所述第213加法器的輸出連接所述第215激活模塊，所述第215激活模塊的輸出連接所述第217池化模塊；所述第217池化模塊的輸出連接所述第219特征圖存儲(chǔ)器；

所述第二層運(yùn)算中還包括控制模塊、權(quán)值地址產(chǎn)生模塊、輸入圖數(shù)據(jù)地址產(chǎn)生模塊；所述控制模塊與所述權(quán)值地址產(chǎn)生模塊、輸入圖數(shù)據(jù)地址產(chǎn)生模塊相連；第204權(quán)值存儲(chǔ)器、第205權(quán)值存儲(chǔ)器、第206權(quán)值存儲(chǔ)器、第207權(quán)值存儲(chǔ)器和第201特征圖存儲(chǔ)器和第202特征圖存儲(chǔ)器均與所述權(quán)值地址產(chǎn)生模塊和輸入圖數(shù)據(jù)地址產(chǎn)生模塊相連；所述第208乘法器、第209乘法器、第210乘法器、第211乘法器分別進(jìn)行權(quán)值與特征圖的乘法運(yùn)算；所述第208乘法器、第209乘法器、第210乘法器、第211乘法器通過(guò)所述第212加法器、第213加法器進(jìn)行加法運(yùn)算；所述第212加法器、第213加法器輸出均連接有寄存器，各所述寄存器的輸出與分別所述第212加法器、第213加法器的輸入相連，實(shí)現(xiàn)累加功能；所述第212加法器、第213加法器的輸出分別通過(guò)第214激活模塊、第215激活模塊、第216池化模塊、第217池化模塊進(jìn)行激活池化運(yùn)算；所述第214激活模塊、第215激活模塊、第216池化模塊、第217池化模塊的激活池化后輸出分別存入第218特征圖存儲(chǔ)器和第219特征圖存儲(chǔ)器；第218特征圖存儲(chǔ)器和第219特征圖存儲(chǔ)器均與地址產(chǎn)生器的輸出相連。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器實(shí)現(xiàn)架構(gòu)，其特征在于：所述第五運(yùn)算器、第七運(yùn)算器、第九運(yùn)算器和第十一運(yùn)算器由FPGA中的DSP構(gòu)成。

3.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器實(shí)現(xiàn)架構(gòu)，其特征在于：所述第一層運(yùn)算、第二層運(yùn)算、第三層運(yùn)算和第四層運(yùn)算中，奇數(shù)層運(yùn)算開(kāi)始同時(shí)進(jìn)行計(jì)算，并在計(jì)算完成后停止計(jì)算，而后偶數(shù)層開(kāi)始同時(shí)進(jìn)行計(jì)算，并在計(jì)算完成后停止計(jì)算，之后奇數(shù)層再次開(kāi)始同時(shí)進(jìn)行計(jì)算；如此循環(huán)，形成奇數(shù)層與偶數(shù)層交替進(jìn)行計(jì)算的循環(huán)。

4.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速器實(shí)現(xiàn)架構(gòu)，其特征在于：所述第一存儲(chǔ)器、第二存儲(chǔ)器、第三存儲(chǔ)器、第四存儲(chǔ)器、第六存儲(chǔ)器、第八存儲(chǔ)器和第十存儲(chǔ)器由FPGA中的存儲(chǔ)器構(gòu)成。