[發(fā)明專(zhuān)利]一種圖像處理方法及圖像處理裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910083846.9
• 申請(qǐng)日: 2019-01-29
• 公開(kāi)（公告）號(hào): CN109871939B
• 公開(kāi)（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 陳海波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/063;G06T1/20
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

本發(fā)明公開(kāi)了一種圖像處理方法及圖像處理裝置，F(xiàn)PGA接收ARM芯片發(fā)送的第一指令，從而FPGA利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)獲取的圖像進(jìn)行處理，在FPGA對(duì)圖像進(jìn)行處理時(shí)，配置參數(shù)存儲(chǔ)在ARM芯片中，該FPGA主動(dòng)訪(fǎng)問(wèn)該ARM芯片來(lái)獲取卷積神經(jīng)網(wǎng)絡(luò)的配置參數(shù)，然后根據(jù)該配置參數(shù)對(duì)圖像進(jìn)行處理，以獲得圖像的第一特征，由于配置參數(shù)并非存儲(chǔ)于該FPGA，因此，F(xiàn)PGA能夠調(diào)動(dòng)幾乎全部資源進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像處理時(shí)所需的計(jì)算，從而能夠解決如何提高在FPGA中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的速度的技術(shù)問(wèn)題，達(dá)到提高在FPGA中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的速度的技術(shù)效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法及圖像處理裝置。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其是在目標(biāo)檢測(cè)和圖像識(shí)別方面展現(xiàn)出了良好的應(yīng)用前景。由于卷積神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的圖像處理算法的計(jì)算量很大，因此，為了提高使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的處理速度，通常使用圖像處理器(graphics processingunit，GPU)對(duì)該處理過(guò)程進(jìn)行加速。但由于GPU的價(jià)格高、功耗大，GPU無(wú)法使用于需求實(shí)時(shí)性和功耗低的應(yīng)用場(chǎng)景，進(jìn)而出現(xiàn)了使用現(xiàn)場(chǎng)可編程門(mén)陣列(field－programmable gatearray，F(xiàn)PGA)來(lái)實(shí)現(xiàn)對(duì)該處理過(guò)程進(jìn)行加速的功能。

如何提高在FPGA中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的速度是目前亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例通過(guò)提供一種圖像處理方法及圖像處理裝置，用于解決現(xiàn)有技術(shù)中的如何提高在FPGA中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的速度是目前亟待解決的技術(shù)問(wèn)題。

第一方面，本發(fā)明一實(shí)施例提供了一種圖像處理方法，所述方法包括：

現(xiàn)場(chǎng)可編程門(mén)陣列FPGA接收高級(jí)精簡(jiǎn)指令集處理器ARM芯片發(fā)送的第一指令，所示第一指令用于指示所述FPGA利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)獲取的圖像進(jìn)行處理；

所述FPGA通過(guò)訪(fǎng)問(wèn)所述ARM芯片，獲取所述卷積神經(jīng)網(wǎng)絡(luò)的配置參數(shù)；

所述FPGA根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)的配置參數(shù)，對(duì)所述圖像進(jìn)行處理，以獲得所述圖像的第一特征。

本實(shí)施方式中，F(xiàn)PGA接收ARM芯片發(fā)送的第一指令，從而FPGA利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)獲取的圖像進(jìn)行處理，也就是說(shuō)ARM芯片控制該FPGA對(duì)圖像進(jìn)行處理，而在FPGA對(duì)圖像進(jìn)行處理時(shí)，配置參數(shù)存儲(chǔ)在ARM芯片中，該FPGA主動(dòng)訪(fǎng)問(wèn)該ARM芯片來(lái)獲取卷積神經(jīng)網(wǎng)絡(luò)的配置參數(shù)，然后根據(jù)該配置參數(shù)對(duì)圖像進(jìn)行處理，以獲得圖像的第一特征，由于配置參數(shù)并非存儲(chǔ)于該FPGA，F(xiàn)PGA能夠調(diào)動(dòng)幾乎全部資源進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像處理時(shí)所需的計(jì)算，從而能夠解決如何提高在FPGA中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的速度的技術(shù)問(wèn)題，達(dá)到提高在FPGA中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的速度的技術(shù)效果。

可選的，所述配置參數(shù)至少包括所述卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)、所述卷積神經(jīng)網(wǎng)絡(luò)的每一層所需的處理類(lèi)型、與每個(gè)處理類(lèi)型對(duì)應(yīng)的權(quán)重參數(shù)、所述卷積神經(jīng)網(wǎng)絡(luò)所能夠處理的圖像的相關(guān)參數(shù)，其中，所述處理類(lèi)型包括卷積處理、池化處理和采樣處理，所述權(quán)重參數(shù)包括用于卷積處理的權(quán)重參數(shù)、用于池化處理的步幅參數(shù)和用于采樣處理的步幅參數(shù)，所述相關(guān)參數(shù)包括所述圖像的尺寸參數(shù)和所述圖像在與所述FPGA連接的雙倍速率同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器(double data rate synchronous dynamic random access memory，DDR)的存儲(chǔ)位置。

本實(shí)施方式中描述了配置參數(shù)包括卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)、每一層所需的處理類(lèi)型、權(quán)重參數(shù)等參數(shù)，不同的配置參數(shù)對(duì)應(yīng)于不同的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)設(shè)置不同的配置參數(shù)，不需要對(duì)FPGA的電路結(jié)構(gòu)進(jìn)行改變，就可以實(shí)現(xiàn)在同一FPGA中利用不同的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理，從而實(shí)現(xiàn)了FPGA對(duì)不同卷積神經(jīng)網(wǎng)絡(luò)的通用性，達(dá)到節(jié)省資源的技術(shù)效果。