[發(fā)明專(zhuān)利]一種CNN加速方法、加速裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010412121.2
• 申請(qǐng)日: 2020-05-15
• 公開(kāi)（公告）號(hào): CN111626405A
• 公開(kāi)（公告）日: 2020-09-04
• 發(fā)明（設(shè)計(jì)）人: 史超超
• 申請(qǐng)（專(zhuān)利權(quán)）人: TCL華星光電技術(shù)有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08;G06F13/28
• 代理公司: 深圳紫藤知識(shí)產(chǎn)權(quán)代理有限公司 44570
• 代理人: 楊艇要

本申請(qǐng)公開(kāi)了一種CNN加速方法、加速裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該加速方法和加速裝置用于FPGA。所述方法為：通過(guò)DMA接口將完成邊界填充的圖像數(shù)據(jù)緩存進(jìn)入行緩存區(qū)；調(diào)用FPGA內(nèi)置的硬件加速單元對(duì)所述的行緩存區(qū)內(nèi)的數(shù)據(jù)進(jìn)行卷積運(yùn)算，所述的卷積運(yùn)算的卷積核大小為N×N，每個(gè)卷積層的行緩存接口數(shù)量為N；將完成卷積運(yùn)算的像素緩存至緩存區(qū)，并通過(guò)DMA端口傳輸至外部DDR。所述裝置包括：第一存儲(chǔ)模塊、運(yùn)算模塊和第二存儲(chǔ)模塊。所述存儲(chǔ)介質(zhì)中存儲(chǔ)有多條指令，所述指令適于由處理器加載以執(zhí)行本發(fā)明所述的CNN加速方法。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)，特別是涉及CNN加速方法、加速裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，簡(jiǎn)稱(chēng)為CNN)是圖像處理中最重要、最常用的算法之一。CNN運(yùn)算量大，運(yùn)算時(shí)間長(zhǎng)，設(shè)計(jì)高效的CNN硬件加速器難度較大，因而現(xiàn)階段一般使用純軟件方式調(diào)用CPU(Central Processing Unit)及GPU(GraphicProcessing Unit)進(jìn)行CNN加速運(yùn)算，但加速效果往往受限于GPU計(jì)算單元數(shù)量，所以加速效果并不理想。此外，GPU價(jià)格高昂，不利于產(chǎn)品批量生產(chǎn)及推廣。

針對(duì)現(xiàn)有技術(shù)中存在的CNN加速效果不理想的問(wèn)題，目前還沒(méi)有提出有效的解決方法。

發(fā)明內(nèi)容

本發(fā)明提供一種CNN加速方法、加速裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，采用軟硬件相結(jié)合的方式，有效提高了CNN加速效果。

為解決上述問(wèn)題，第一方面，本發(fā)明提供了一種CNN加速方法，該方法用于FPGA(Field-Programmable Gate Array)，該方法包括：

通過(guò)直接存儲(chǔ)器訪問(wèn)(DMA，Direct Memory Access)接口將完成邊界填充的圖像數(shù)據(jù)緩存進(jìn)入行緩存區(qū)；

調(diào)用FPGA內(nèi)置的硬件加速單元對(duì)所述的行緩存區(qū)內(nèi)的數(shù)據(jù)進(jìn)行卷積運(yùn)算，所述的卷積運(yùn)算的卷積核大小為N×N，每個(gè)卷積層的行緩存接口數(shù)量為N；

將完成卷積運(yùn)算的像素緩存至緩存區(qū)，并通過(guò)DMA端口傳輸至外部DDR(DoubleData Rate)。

其中，所述的卷積運(yùn)算包括：

從bram(bipolar random access memory)中抓取所需要的N²個(gè)像素及對(duì)應(yīng)的權(quán)重；

通過(guò)非0值判斷模塊判斷所述的N²個(gè)像素及對(duì)應(yīng)的權(quán)重是否存在零值；

對(duì)抓取的像素矩陣及對(duì)應(yīng)的權(quán)重矩陣進(jìn)行卷積計(jì)算：當(dāng)所述的N²個(gè)像素及對(duì)應(yīng)的權(quán)重不存在零值時(shí)，利用N²個(gè)乘法器對(duì)所述像素矩陣中的元素及所述權(quán)重矩陣中的元素進(jìn)行乘法運(yùn)算，然后利用N²-1個(gè)加法器對(duì)所述的N²個(gè)乘法器的輸出數(shù)據(jù)相加，完成卷積運(yùn)算；當(dāng)所述的N²個(gè)像素及對(duì)應(yīng)的權(quán)重存在零值時(shí)，則在使用乘法器進(jìn)行乘法運(yùn)算時(shí)，忽略掉所述零值對(duì)應(yīng)的相乘項(xiàng)。

其中，所述CNN加速方法還包括：

調(diào)用HLS pipeline unroll指令；

且所述的調(diào)用HLS pipeline unroll指令與所述的卷積運(yùn)算同時(shí)進(jìn)行。

其中，所述CNN加速方法還包括：

對(duì)所述的卷積運(yùn)算及將完成卷積運(yùn)算的像素緩存至緩存區(qū)進(jìn)行數(shù)據(jù)流操作。

其中，所述的邊界填充由ARM(Advanced RISC Machine)CPU端完成。