[發(fā)明專利]卷積運(yùn)算方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910664359.1
• 申請(qǐng)日: 2019-07-23
• 公開（公告）號(hào): CN110414672B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 臧春峰;王斌;嚴(yán)大衛(wèi);黃麗民;陳芬
• 申請(qǐng)（專利權(quán)）人: 江蘇鼎速網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 蘇州友佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32351
• 代理人: 儲(chǔ)振

本發(fā)明提供了一種卷積運(yùn)算方法、裝置及系統(tǒng)，該方法包括：響應(yīng)于輸入的卷積運(yùn)算模式控制指令，確定目標(biāo)卷積運(yùn)算模式，目標(biāo)卷積運(yùn)算模式對(duì)應(yīng)的卷積運(yùn)算的目標(biāo)卷積尺寸為j×j；基于目標(biāo)卷積運(yùn)算模式，控制參數(shù)移位寄存器獲取卷積參數(shù)，以基于卷積參數(shù)形成N組尺寸為j×j的卷積參數(shù)方陣；并控制卷積數(shù)據(jù)寄存器獲取目標(biāo)卷積數(shù)據(jù)，以形成尺寸為j×j的目標(biāo)卷積方陣；控制終端設(shè)備中M個(gè)卷積核，分別基于目標(biāo)卷積方陣和卷積參數(shù)方陣，生成M組卷積結(jié)果數(shù)據(jù)，卷積核的卷積尺寸為i×i，i＝2m+1,j＝2n+1，m,n為正整數(shù)，M＝2k，k為大于1的正整數(shù)，N＝(M*i*i)/(j*j)，M＝(j*j)/(i*i)。本發(fā)明解決了現(xiàn)有技術(shù)中無法支持多種尺寸的卷積運(yùn)算的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及卷積運(yùn)算領(lǐng)域，尤其涉及一種卷積運(yùn)算方法、裝置及系統(tǒng)。

背景技術(shù)

近幾年，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)在深度學(xué)習(xí)中取得了重大的進(jìn)展。Alex Krizhevsky等人2012年提出了經(jīng)典的CNN計(jì)算結(jié)構(gòu)AlexNet，在圖像分類和識(shí)別中獲得了巨大成功。AlexNet的輸入為一個(gè)3通道的227×227圖片數(shù)據(jù)，如圖1所示，其整個(gè)處理過程總共包括8層運(yùn)算，前五層為卷積層，后三層為全連接層，其中第一層卷積采用3×11×11寬度的卷積核，卷積核個(gè)數(shù)為96，第二層卷積采用96×5×5寬度的卷積核，卷積核個(gè)數(shù)為256，余下三層卷積都采用不同通道數(shù)的3×3寬度卷積核。AlexNet的總參數(shù)量超過了8MB，并且單通道卷積核大小不一致，運(yùn)算復(fù)雜。之后，研究人員又提出了其他的更為完善和優(yōu)化的方法，其中最著名結(jié)構(gòu)有ZFNet[2013年]，VGGNet[2014年]，ResNet[2015]，GoogleNet[2015年]和SqueezeNet(壓縮卷積神經(jīng)網(wǎng)絡(luò))[2016年]等，它們從性能和資源使用率等不同的方面進(jìn)行優(yōu)化，不同的CNN結(jié)構(gòu)具有不同的卷積層數(shù)、通道維度、卷積核大小、以及每一層卷積核個(gè)數(shù)等。通常，CNN網(wǎng)絡(luò)運(yùn)算包括：卷積運(yùn)算、Pooling池化運(yùn)算和FC全連接運(yùn)算。

卷積運(yùn)算是CNN計(jì)算結(jié)構(gòu)中最為關(guān)鍵的運(yùn)算，其運(yùn)算量占據(jù)整個(gè)網(wǎng)絡(luò)的90％以上。卷積運(yùn)算又按不同的卷積尺寸進(jìn)行劃分，常用的卷積核包括1×1的卷積核、3×3的卷積核、5×5的卷積核心和7×7的卷積核。目前主流的卷積神經(jīng)網(wǎng)絡(luò)大尺寸的卷積核心比較少，最常用的卷積尺寸為3×3和5×5。

卷積神經(jīng)網(wǎng)絡(luò)最初輸入的數(shù)據(jù)為圖像數(shù)據(jù)，中間經(jīng)過多層卷積運(yùn)算。每一層卷積計(jì)算輸出數(shù)據(jù)稱為featuremap數(shù)據(jù)。上層的featuremap數(shù)據(jù)作為下一層卷積運(yùn)算的輸入?yún)⑴c卷積運(yùn)算。最后一層的計(jì)算結(jié)果為該卷積神經(jīng)網(wǎng)絡(luò)的最終結(jié)果。

如圖2所示，卷積運(yùn)算是一個(gè)三維立體的運(yùn)算過程。卷積運(yùn)算包括卷積數(shù)據(jù)和卷積參數(shù)輸入。卷積圖像數(shù)據(jù)和卷積參數(shù)都是三維結(jié)構(gòu)。運(yùn)算是卷積核從輸入圖像的左上角開始，向右逐層滑動(dòng)，每滑動(dòng)一次，卷積核與其覆蓋的輸入數(shù)據(jù)進(jìn)行點(diǎn)積并求和運(yùn)算，得到輸出一個(gè)featuremap上的一個(gè)數(shù)據(jù)。如果有n個(gè)卷積核，那么輸出featuremap數(shù)據(jù)個(gè)數(shù)也為n。

其中，卷積運(yùn)算公式為：其中1≤i≤n_out，1≤j≤n_in。分別表示第i個(gè)輸出和第j個(gè)輸入的feature map，W_i,j為卷積核，為卷積運(yùn)算，B_i為卷積偏移量，n_out表示輸出feature map的通道數(shù)，n_in表示輸入feature map的通道數(shù)。

通過切分的方式，可將三維的卷積運(yùn)算轉(zhuǎn)換成多次的二維卷積運(yùn)算，如圖3所示，卷積運(yùn)算相當(dāng)于卷積核在二維的feature map上從左至右，從上至下的劃窗操作，窗口內(nèi)的數(shù)據(jù)與卷積核進(jìn)行乘累加操作。如此，可將三維的多通道卷積運(yùn)算拆分成多個(gè)如圖3所示的單通道卷積運(yùn)算。