[發(fā)明專利]一種基于winograd動態(tài)卷積塊的圖像處理方法

有效

• 申請?zhí)枺?/td>: 202011140346.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112434786B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計）人: 張興軍;紀(jì)澤宇;魏嘉;閆瑋;魏正;李靖波;高柏松
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李紅霖

本發(fā)明公開了一種基于winograd動態(tài)卷積塊的圖像處理方法，屬于卷積網(wǎng)絡(luò)領(lǐng)域。本發(fā)明利用中國剩余定理算法生成winograd快速卷積方法的計算復(fù)雜度函數(shù)，計算復(fù)雜度函數(shù)將卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的卷積參數(shù)作為常量引入，得到變量為winograd卷積塊尺寸的計算復(fù)雜度模型；基于所述計算復(fù)雜度模型最小化計算開銷；根據(jù)最小化計算開銷得到的卷積塊尺寸，完成相應(yīng)層數(shù)的winograd快速卷積計算；抽取圖片的特征并將其送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類處理；本發(fā)明解決winograd算法在通用計算平臺上單一卷積塊效率不平衡導(dǎo)致的卷積性能下降問題，本發(fā)明的圖像處理方法能夠加速處理器計算卷積神經(jīng)網(wǎng)絡(luò)的計算。

技術(shù)領(lǐng)域

本發(fā)明屬于卷積網(wǎng)絡(luò)領(lǐng)域，尤其是一種基于winograd動態(tài)卷積塊的圖像處理方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network,CNN)是一組深度學(xué)習(xí)算法，在各種AI任務(wù)(包括視頻監(jiān)控，語音識別，自然語言處理和自動駕駛)上均表現(xiàn)出色。在過去的十年中，CNN展現(xiàn)了廣闊的前景，成為大量研究的焦點。卷積層占用大量內(nèi)存，計算密集，并且在許多先進(jìn)的CNN(包括AlexNet，VGG，OverFeat和ResNet)中很普遍。因此，卷積層是影響CNN整體性能的主要因素。

海量的數(shù)據(jù)集和更復(fù)雜的模型可提供令人滿意的結(jié)果并顯著提高任務(wù)最終的準(zhǔn)確性。但是，也會導(dǎo)致訓(xùn)練開銷的增加和更多的計算時間。因此，在短時間內(nèi)訓(xùn)練和推斷CNN模型對研究人員而言是艱巨的挑戰(zhàn)。

目前已經(jīng)提出了許多優(yōu)化方法來減少基于卷積神經(jīng)網(wǎng)絡(luò)的圖片分類算法的開銷，如滑動窗口，im2col，快速傅立葉變換(FFT)和Winograd算法。滑動窗口是一種基于空間域的算法，將特征圖與相應(yīng)過濾器內(nèi)核的乘積相加，以生成輸出數(shù)據(jù)。基于img2col的卷積可以視為快速矩陣乘法，并且可以從高度優(yōu)化的線性代數(shù)包(例如BLAS和MKL)中獲利。基于FFT的卷積使用的原理是：頻域中的乘法對應(yīng)于時域中的卷積，使用離散傅立葉變換(DFT)將輸入信號變換到頻域，再乘以濾波器的頻率響應(yīng)，然后使用反DFT變換回時域。基于Winograd的卷積被開發(fā)用于快速計算有限沖激響應(yīng)(FIR)濾波器。Winograd域中的Hadamard乘積對應(yīng)于空間域中的卷積，這與FFT卷積相似。FFT和Winograd方法從本質(zhì)上降低了卷積算法的計算復(fù)雜度，并廣泛用于加速CNN模型。

由于對擁有小尺寸過濾器的卷積神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的性能，基于Winograd的快速卷積方法已廣泛集成到許多現(xiàn)成的深度學(xué)習(xí)框架中。但是，大多數(shù)基于Winograd的卷積方法實現(xiàn)僅針對不同平臺上的并行計算進(jìn)行了優(yōu)化，包括CPU，GPU，MIC，F(xiàn)PGA和ASIC設(shè)備。DNN社區(qū)很少有關(guān)于基于Winograd的提高卷積性能的研究。從理論上講，基于Winograd的卷積應(yīng)用能加快計算速度。但是，在實踐中，幾個現(xiàn)有的挑戰(zhàn)使得難以充分利用計算平臺上的資源或內(nèi)存帶寬。為了盡量減少必要的計算，在Winograd卷積的現(xiàn)有框架中，輸入數(shù)據(jù)，內(nèi)核和輸出數(shù)據(jù)的winograd變換過程需要手動完成。因此，難以為每個卷積層提供靈活的卷積塊尺寸。例如，Nvidia?CuDNN的卷積塊尺寸為4×4，Arm?Compute?Library的卷積塊尺寸為6×6，NAPACK的卷積塊尺寸為8×8，例如內(nèi)核大小為3×3，當(dāng)輸入瓦片大小是6×6(tile的值)時，輸出塊大小是4×4(tile–m+1)。在VGG的第一卷積層中，輸出大小為222，不能被4整除。由此產(chǎn)生的冗余操作降低了基于Winograd的卷積性能。在資源受限的應(yīng)用程序(例如手機(jī)，智能穿戴設(shè)備和車輛設(shè)備)中，這些問題的不利影響更加明顯。小尺寸的卷積塊無法擴(kuò)展基于Winograd的卷積性能。相反，大尺寸的卷積塊引入了零填充，這增加了變換和矩陣乘法階段的開銷。先前的方法僅經(jīng)驗性提出了用于Winograd變換的卷積塊尺寸，沒有定量地分析基于Winograd的卷積的算術(shù)復(fù)雜性。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決winograd算法在通用計算平臺上單一卷積塊效率不平衡導(dǎo)致的卷積性能下降的問題，提供一種基于winograd動態(tài)卷積塊的圖像處理方法。