[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)模型的壓縮方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210939221.X
• 申請(qǐng)日: 2022-08-05
• 公開（公告）號(hào): CN115293331A
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 劉淼;林恒杰;周玲雅
• 申請(qǐng)（專利權(quán)）人: 瓴盛科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 駱希聰

本發(fā)明涉及一種卷積神經(jīng)網(wǎng)絡(luò)模型的壓縮方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)。該卷積神經(jīng)網(wǎng)絡(luò)模型用于處理圖像，該壓縮方法包括：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型；使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像進(jìn)行前向推理，獲得特征圖標(biāo)簽；對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行剪枝處理，獲得剪枝后的卷積神經(jīng)網(wǎng)絡(luò)模型；根據(jù)特征圖標(biāo)簽對(duì)剪枝后的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行重訓(xùn)練。本發(fā)明根據(jù)DBSCAN算法針對(duì)卷積核進(jìn)行剪枝，結(jié)合特征圖標(biāo)簽與Wing Loss函數(shù)進(jìn)行模型重訓(xùn)練，使剪枝技術(shù)在保證模型精度的前提下，讓模型獲得相對(duì)較大的稀疏度，從而使模型的推算速度取得了很好的提升，并且整個(gè)剪枝算法十分通用，無需針對(duì)不同算法任務(wù)和模型結(jié)構(gòu)做調(diào)整、無需進(jìn)行后處理，讓大型算法更容易部署。

技術(shù)領(lǐng)域

本發(fā)明主要涉及深度學(xué)習(xí)模型加速推斷領(lǐng)域，具體地涉及一種卷積神經(jīng)網(wǎng)絡(luò)模型的壓縮方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，計(jì)算機(jī)視覺領(lǐng)域的諸多任務(wù)都取得了不錯(cuò)的成果，在諸多領(lǐng)域進(jìn)行了廣泛的應(yīng)用。但是隨著算法精度的提升，算法所需要的計(jì)算量也會(huì)出現(xiàn)急速膨脹的問題，這一問題在邊緣計(jì)算領(lǐng)域尤為致命。在很多應(yīng)用場(chǎng)景下數(shù)據(jù)無法上傳，需要在本地進(jìn)行計(jì)算，當(dāng)本地算力受限時(shí)，此時(shí)很多算法都無法很好地完成實(shí)時(shí)計(jì)算任務(wù)。

模型剪枝技術(shù)可以很好地解決算力受限的問題。通常設(shè)計(jì)的算法以及開源優(yōu)秀主干網(wǎng)絡(luò)(backbone)的信息容量都很難完美契合對(duì)應(yīng)任務(wù)的數(shù)據(jù)包含的信息量，此時(shí)為了保證模型精度，常選擇比數(shù)據(jù)包含的信息量更大的模型以保證模型能有良好的泛化性能，但是模型冗余的部分會(huì)消耗更多算力。通過剪枝技術(shù)自動(dòng)地挑選出模型冗余的部分并進(jìn)行修剪，使剪枝后的模型得更加精簡(jiǎn)，算力消耗更少，且剪枝操作不會(huì)對(duì)模型精度造成損失。

目前模型剪枝技術(shù)以及剪枝流程存在非常多不同種類的算法，其思路方向均有差異。傳統(tǒng)的剪枝思路有基于最小絕對(duì)值收斂和選擇算子(Least Absolute Shrinkage andSelection Operator，LASSO)的L1非結(jié)構(gòu)化剪枝，其剪枝粒度較細(xì)但相對(duì)依賴模型本身的稀疏性以及參數(shù)的方差，雖然剪枝效果不錯(cuò)，但是會(huì)受模型參數(shù)分布的約束并且模型的推斷速度提升有限。還有基于批量歸一化(Batch Normalization，BN)或者線性整流函數(shù)(Rectified Linear Unit，ReLU)輸出的稀疏度以及幾何中位數(shù)(Geometric Median)等思路進(jìn)行的結(jié)構(gòu)化剪枝。結(jié)構(gòu)化剪枝是在濾波器(filter)上進(jìn)行操作，剪枝粒度較大，加速效果明顯并且可以節(jié)省帶寬，但是模型精度損失較大。BN剪枝基于BN中學(xué)習(xí)到的參數(shù)作為剪枝的指標(biāo)，BN和L1的思想一樣，均按其大小進(jìn)行修剪，但是依舊依賴于BN中參數(shù)的方差以及稀疏度。而基于ReLU的這一剪枝流派則是依賴激活輸出的稀疏度，這樣會(huì)導(dǎo)致極度依賴輸入的數(shù)據(jù)分布，使剪枝流程相對(duì)繁雜。而幾何中位數(shù)剪枝技術(shù)提出了一種新穎的剪枝思路，其剪枝的準(zhǔn)則是計(jì)算卷積神經(jīng)網(wǎng)絡(luò)中所有濾波器的幾何中值，將距離幾何中值近的濾波器進(jìn)行剪枝，因?yàn)閹缀沃兄荡碇鵀V波器的中心，越接近中心則算法認(rèn)為濾波器的功能越相似，但是這種算法因?yàn)榫薮蟮倪\(yùn)算無法推廣到更細(xì)粒度的剪枝算法上。

還有一些介于結(jié)構(gòu)化和非結(jié)構(gòu)化稀疏度之間的剪枝方法，例如模式(pattern)剪枝算法，其在相對(duì)復(fù)雜的任務(wù)(例如圖像檢測(cè)，分割任務(wù))上精度表現(xiàn)相對(duì)較差。以及一些從優(yōu)化作為切入點(diǎn)而設(shè)計(jì)的剪枝算法，例如交替方向乘子法(Alternating DirectionMethod of Multipliers，ADMM)和泰勒(taylor)展開式的剪枝算法，這些剪枝算法流程相對(duì)復(fù)雜，通用性不佳。

綜上所述，現(xiàn)有的剪枝算法存在模型推斷速度受限，模型精度損失較大，剪枝流程繁雜，通用性不佳等問題。因此兼顧模型精度、模型推斷加速效果以及工程上通用易用的剪枝算法是工業(yè)界亟待解決的問題。

發(fā)明內(nèi)容

本申請(qǐng)所要解決的技術(shù)問題是提供一種卷積神經(jīng)網(wǎng)絡(luò)模型的壓縮方法、系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)，該壓縮方法可以兼顧模型精度、模型推斷加速效果，在工程上通用易用。