[發(fā)明專利]一種基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)的量化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010743852.5
• 申請(qǐng)日: 2020-07-29
• 公開（公告）號(hào): CN112016674A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 吳梓恒;胡杰;曾夢澤
• 申請(qǐng)（專利權(quán)）人: 魔門塔（蘇州）科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 南京九致知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32307
• 代理人: 嚴(yán)巧巧

本發(fā)明提供的基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)的量化方法，涉及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，采用動(dòng)態(tài)搜索的方式獲取卷積神經(jīng)網(wǎng)絡(luò)每一個(gè)網(wǎng)絡(luò)權(quán)重層最佳的裁剪比例和量化位數(shù)，對(duì)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)依次經(jīng)過稀疏化、采用教師網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾微調(diào)訓(xùn)練、逐層量化、再次使用教師網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾微調(diào)訓(xùn)練，使得在保留網(wǎng)絡(luò)精度的前提下大幅度壓縮卷積神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)需求和計(jì)算需求。在卷積神經(jīng)網(wǎng)絡(luò)的量化壓縮過程中，使用教師網(wǎng)絡(luò)進(jìn)行基于知識(shí)蒸餾的微調(diào)訓(xùn)練，可以對(duì)卷積神經(jīng)網(wǎng)絡(luò)的不同網(wǎng)絡(luò)權(quán)重層采用不同的量化精度，并且不會(huì)過度損失網(wǎng)絡(luò)精度，使得在量化過程中可以增大對(duì)卷積神經(jīng)網(wǎng)絡(luò)的壓縮程度。

技術(shù)領(lǐng)域

本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)的量化方法。

背景技術(shù)

目前國內(nèi)外大量的視覺應(yīng)用場景都采用基于卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeural Network)進(jìn)行特征提取，包括在線的圖像分類，識(shí)別，檢測服務(wù)，人臉識(shí)別，重識(shí)別，安防監(jiān)控等應(yīng)用場景。基于卷積神經(jīng)網(wǎng)絡(luò)的解決方案相對(duì)于傳統(tǒng)方案具有精度高，泛化能力強(qiáng)等優(yōu)點(diǎn)，但其需求計(jì)算量大，對(duì)硬件要求高，對(duì)存儲(chǔ)要求高，使得該方案的普及和使用都受到了限制。一般的卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部都采用浮點(diǎn)數(shù)進(jìn)行相關(guān)運(yùn)算，近些年，陸續(xù)出現(xiàn)采用二值化的方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部的運(yùn)算進(jìn)行簡化的方案，這樣一來，大量的浮點(diǎn)數(shù)的加法和乘法計(jì)算被簡化為二值化的移位和計(jì)數(shù)，從而大幅度降低了卷積神經(jīng)網(wǎng)絡(luò)這一解決方案對(duì)計(jì)算能力和存儲(chǔ)能力的需求。但是，然而二值化計(jì)算存在兩點(diǎn)局限性，一是導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)的精度大幅度下降，二是一般的二值化方案只能針對(duì)不含有深度可分離卷積的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行；基于上述兩點(diǎn)考慮，使得簡化二值化的方案并不能在實(shí)際場景中使用。

專利CN110175628A公開了一種基于自動(dòng)搜索與知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)剪枝的壓縮算法，采用教師網(wǎng)絡(luò)對(duì)需要剪枝的網(wǎng)絡(luò)進(jìn)行輔助訓(xùn)練，對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了一定的壓縮和精度恢復(fù)，但訓(xùn)練方案較為復(fù)雜，訓(xùn)練過程較長。CN110222820A公開的基于權(quán)值剪枝和量化的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，采用迭代剪枝等方法并將所有的網(wǎng)絡(luò)權(quán)重和網(wǎng)絡(luò)特征圖都量化到8位，將深度殘差網(wǎng)絡(luò)(ResNet)在不損失精度的條件下壓縮12倍。該方法只能針對(duì)常用的卷積神經(jīng)網(wǎng)絡(luò)算法，并限定了網(wǎng)絡(luò)壓縮比例，不能對(duì)網(wǎng)絡(luò)每一網(wǎng)絡(luò)權(quán)重層進(jìn)行自適應(yīng)調(diào)控。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)的量化方法，解決了深度可分離卷積的二值化問題，然后針對(duì)二值化的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了更為合適的模型優(yōu)化方法，并應(yīng)用到ResNet系列網(wǎng)絡(luò)上，相對(duì)于現(xiàn)有技術(shù)中的優(yōu)化方法能大幅度提升基于ResNet系列的卷積神經(jīng)網(wǎng)絡(luò)在二值化之后的網(wǎng)絡(luò)精度，實(shí)際用于分類的視覺場景。

為達(dá)成上述目的，本發(fā)明提出如下技術(shù)方案：一種基于知識(shí)蒸餾的卷積神經(jīng)網(wǎng)絡(luò)的量化方法，包括如下步驟：

1)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，直到卷積神經(jīng)網(wǎng)絡(luò)模型收斂，預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度和網(wǎng)絡(luò)精度；

2)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的每一層網(wǎng)絡(luò)權(quán)重進(jìn)行敏感性分析，并根據(jù)敏感性分析結(jié)果對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的進(jìn)行啟發(fā)式裁剪，獲得稀疏化的卷積神經(jīng)網(wǎng)絡(luò)模型；

3)采用教師網(wǎng)絡(luò)對(duì)稀疏化的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行基于知識(shí)蒸餾的微調(diào)訓(xùn)練，獲得微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型；所述基于知識(shí)蒸餾的微調(diào)訓(xùn)練的微調(diào)標(biāo)準(zhǔn)為微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)精度達(dá)到預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)精度；

4)檢查微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度；若微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度達(dá)到預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度，則進(jìn)行步驟5)；若微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度未達(dá)到預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度，則對(duì)微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型重復(fù)執(zhí)行步驟2)和步驟3)，直至微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度達(dá)到預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)模型的稀疏度；

5)對(duì)微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的每一個(gè)網(wǎng)絡(luò)權(quán)重層進(jìn)行量化的敏感性分析，并根據(jù)敏感性分析結(jié)果確定微調(diào)后卷積神經(jīng)網(wǎng)絡(luò)模型的每一層網(wǎng)絡(luò)權(quán)重的量化位數(shù)；