[發(fā)明專利]圖像處理方法、目標(biāo)檢測裝置、機(jī)器視覺設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010537684.4
• 申請日: 2020-06-12
• 公開（公告）號(hào): CN113807998A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 彭海勇;曹常鋒;劉新陽;李火林;田萬廷
• 申請（專利權(quán)）人: 深圳市中興微電子技術(shù)有限公司
• 主分類號(hào): G06T1/20
• 分類號(hào): G06T1/20;G06T1/60;G06N3/04
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11112
• 代理人: 馮建基;姜春咸

本申請?zhí)岢鲆环N圖像處理方法、目標(biāo)檢測裝置、機(jī)器視覺設(shè)備和存儲(chǔ)介質(zhì)，其中，該圖像處理方法包括：對待檢測的圖像進(jìn)行預(yù)處理獲得輸入特征圖，并提取所述輸入特征圖的第一深度并行度和縱向并行度；依據(jù)所述第一深度并行度和所述縱向并行度對所述輸入特征圖進(jìn)行向量化處理，獲得N個(gè)輸入向量數(shù)據(jù)，其中，N為大于或等于1的整數(shù)；使用所述N個(gè)輸入向量數(shù)據(jù)與卷積核同時(shí)進(jìn)行卷積運(yùn)算，獲得輸出特征圖。保證在低能耗的情況下，加快卷積運(yùn)算的速度，提升對輸入特征圖的處理速度。輸出特征圖中的目標(biāo)物體的精度優(yōu)于輸入特征圖中的目標(biāo)物體的精度，使得能夠提升目標(biāo)物體的精度，以使輸入特征圖中的目標(biāo)物體的類別更準(zhǔn)確，方便在機(jī)器視覺領(lǐng)域中的應(yīng)用。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種圖像處理方法、目標(biāo)檢測裝置、機(jī)器視覺設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

當(dāng)前，基于現(xiàn)場可編程邏輯門陣列(Field Programmable Gate Array，F(xiàn)PGA)的深度卷積神經(jīng)網(wǎng)絡(luò)加速器架構(gòu)大致可分為3種：基于運(yùn)算模塊的加速器架構(gòu)、基于網(wǎng)絡(luò)映射的加速器架構(gòu)和基于脈沖陣列的加速器架構(gòu)。

其中，基于運(yùn)算模塊的加速器架構(gòu)的關(guān)注點(diǎn)在卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeural Networks,CNN)的基本運(yùn)算單元(如卷積、池化、全連接等)上，通過一定的設(shè)計(jì)得到若干個(gè)通用的計(jì)算模塊，這些計(jì)算模塊可以進(jìn)行靈活的組合，以實(shí)現(xiàn)不同深淺、不同結(jié)構(gòu)網(wǎng)絡(luò)的正向推斷過程。基于網(wǎng)絡(luò)映射的加速器架構(gòu)需要將層間計(jì)算結(jié)果緩存到芯片外部，使得帶寬壓力增加，若嘗試按照網(wǎng)絡(luò)結(jié)構(gòu)將所有層映射到FPGA電路中，則運(yùn)算時(shí)只需要從芯片外部加載輸入數(shù)據(jù)以及將網(wǎng)絡(luò)最終計(jì)算結(jié)果回存到芯片外部，可避免中間結(jié)果的緩存，實(shí)現(xiàn)CNN層內(nèi)和層間流水結(jié)構(gòu)，因此具有很高的效率，但當(dāng)網(wǎng)絡(luò)層數(shù)較深時(shí)，會(huì)受到硬件資源的限制。基于脈沖陣列的加速器架構(gòu)能實(shí)現(xiàn)較高的時(shí)鐘頻率和較少的邏輯資源消耗，但在對CNN模型進(jìn)行部署時(shí)，脈沖陣列處理單元(Processing Elements，PE)的配置較為復(fù)雜，不易實(shí)現(xiàn)。并且單純的硬件設(shè)計(jì)受帶寬、資源的限制，導(dǎo)致性能提升有限。以上三種架構(gòu)多是采用寄存器轉(zhuǎn)換級(jí)電路(Register Transfer Level，RTL)開發(fā)方式設(shè)計(jì)實(shí)現(xiàn)，移植性和擴(kuò)展性相對較差。

發(fā)明內(nèi)容

本申請?zhí)峁┯糜趫D像處理方法、目標(biāo)檢測裝置、機(jī)器視覺設(shè)備和存儲(chǔ)介質(zhì)，用于解決卷積神經(jīng)網(wǎng)絡(luò)的移植性和擴(kuò)展性較差的問題。

第一方面，本申請實(shí)施例提供一種圖像處理方法，包括：對待檢測的圖像進(jìn)行預(yù)處理獲得輸入特征圖，并提取輸入特征圖的第一深度并行度和縱向并行度；依據(jù)第一深度并行度和縱向并行度對輸入特征圖進(jìn)行向量化處理，獲得N個(gè)輸入向量數(shù)據(jù)，其中，N為大于或等于1的整數(shù)；使用N個(gè)輸入向量數(shù)據(jù)與卷積核同時(shí)進(jìn)行卷積運(yùn)算，獲得輸出特征圖。

本申請實(shí)施例提供的圖像處理方法，通過輸入特征圖的第一深度并行度和縱向并行度對輸入特征圖進(jìn)行向量化處理，獲得N個(gè)輸入向量數(shù)據(jù)，然后使用N個(gè)輸入向量數(shù)據(jù)與卷積核同時(shí)進(jìn)行卷積運(yùn)算，獲得輸出特征圖，使得一個(gè)卷積內(nèi)核能夠同時(shí)與N個(gè)輸入向量數(shù)據(jù)進(jìn)行卷積運(yùn)算，保證在低能耗的情況下，加快卷積運(yùn)算的速度，提升對輸入特征圖的處理速度。同時(shí)，輸出特征圖中的目標(biāo)物體的精度優(yōu)于輸入特征圖中的目標(biāo)物體的精度，使得能夠提升目標(biāo)物體的精度，以使輸入特征圖中的目標(biāo)物體的類別更準(zhǔn)確，方便在機(jī)器視覺領(lǐng)域中的應(yīng)用。

第二方面，本申請實(shí)施例提供一種目標(biāo)檢測裝置，包括：預(yù)處理模塊，用于對待檢測的圖像進(jìn)行預(yù)處理獲得輸入特征圖，并提取輸入特征圖的第一深度并行度和縱向并行度；向量化處理模塊，用于依據(jù)第一深度并行度和縱向并行度對輸入特征圖進(jìn)行向量化處理，獲得N個(gè)輸入向量數(shù)據(jù)，其中，N為大于或等于1的整數(shù)；卷積運(yùn)算模塊，用于使用N個(gè)輸入向量數(shù)據(jù)與卷積核同時(shí)進(jìn)行卷積運(yùn)算，獲得輸出特征圖。