[發(fā)明專利]一種基于特征映射剪枝的卷積神經(jīng)網(wǎng)絡(luò)精簡方法

在審

• 申請?zhí)枺?/td>: 201810678956.5
• 申請日: 2018-06-27
• 公開（公告）號: CN109034370A
• 公開（公告）日: 2018-12-18
• 發(fā)明（設(shè)計）人: 芮挺;周遊;鄒軍華;楊成松;袁輝;王東;李宏偉;陸鳴;田輝;殷勤;艾永保;張釜愷
• 申請（專利權(quán)）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

一種基于特征映射剪枝的卷積神經(jīng)網(wǎng)絡(luò)精簡方法，針對某個任務(wù)訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型，自頂層到底層，逐層利用篩選策略對網(wǎng)絡(luò)中的特征映射進行篩選，并通過關(guān)鍵點確定每一層的精簡程度，每完成一層的篩選，對網(wǎng)絡(luò)進行重新訓練直到恢復之前的準確率，最終在不損失性能的前提下獲得一個精簡、高效的網(wǎng)絡(luò)模型，以滿足計算、存儲資源有限情況下卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用要求。實驗表明，本發(fā)明可以有效地除去網(wǎng)絡(luò)中對性能提升無效冗余的特征映射，在保持網(wǎng)絡(luò)性能的同時，減少了網(wǎng)絡(luò)規(guī)模，提升了網(wǎng)絡(luò)的運行速度，對卷積神經(jīng)網(wǎng)絡(luò)在移動端的應(yīng)用具有重要意義。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺領(lǐng)域，涉及到卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法，具體為一種基于特征映射剪枝的卷積神經(jīng)網(wǎng)絡(luò)精簡方法。

背景技術(shù)

在計算機視覺領(lǐng)域，近十年隨著深度學習在人工智能領(lǐng)域不斷取得突破，卷積神經(jīng)網(wǎng)絡(luò)也取得了極大的發(fā)展。如今，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被大量地應(yīng)用于圖像分類、物體檢測、姿勢估計、圖像分割等一系列人工智能領(lǐng)域中。

近年來，卷積神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域得到了成功應(yīng)用。自2012年Krizhevsky等人的AlexNet，到2014年Andrew Zisserman等人的VGG-Net和Christian Szegedy等人的GoogLeNet，再到2015年微軟的ResNet，從卷積神經(jīng)網(wǎng)絡(luò)性能的不斷提升中，可以看出，學者們不斷地對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行優(yōu)化，謀求通過更深的網(wǎng)絡(luò)結(jié)構(gòu)提升其性能。卷積神經(jīng)網(wǎng)絡(luò)不斷地變深，意味著其網(wǎng)絡(luò)規(guī)模和復雜度都在在不斷變大，進而使得網(wǎng)絡(luò)參數(shù)越來越多，運算越來越復雜，最終導致運算所需要的硬件資源(內(nèi)存、GPU)越來越高，網(wǎng)絡(luò)運行占用的運算資源增大，所需的運算時間增加，這不利于卷積神經(jīng)網(wǎng)絡(luò)在運算條件受限情況下的應(yīng)用。例如對于車載系統(tǒng)或者是手機等移動設(shè)備，其儲存能力和運算能力非常有限，降低卷積神經(jīng)網(wǎng)絡(luò)的復雜性，提高卷積神經(jīng)網(wǎng)絡(luò)的運算效能，成為需要研究的重要問題。

從卷積神經(jīng)網(wǎng)絡(luò)近些年的發(fā)展特點可以發(fā)現(xiàn)，網(wǎng)絡(luò)深度的增加對網(wǎng)絡(luò)性能具有積極作用，而卷積神經(jīng)網(wǎng)絡(luò)的寬度(即卷積層的特征映射數(shù)量)對于網(wǎng)絡(luò)性能的影響則是未知的。

現(xiàn)有針對卷積神經(jīng)網(wǎng)絡(luò)的簡化方法，主要有三種：

1)對卷積神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，利用淺層網(wǎng)絡(luò)替代復雜網(wǎng)絡(luò)的方法間接實現(xiàn)網(wǎng)絡(luò)的精簡。這種方法由于使用了淺層網(wǎng)絡(luò)，其自身表達能力的欠缺，具有較大局限性，僅限于應(yīng)用在簡單問題的解決，難以得到推廣；

2)將復雜卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行二值化處理。這種方法將復雜網(wǎng)絡(luò)的輸入、權(quán)重和響應(yīng)等參數(shù)進行二值化，這樣不僅能夠降低網(wǎng)絡(luò)的規(guī)模，通過將浮點運算轉(zhuǎn)化為邏輯運算還能加快運算速度。但是復雜網(wǎng)絡(luò)在進行二值化處理以后，其網(wǎng)絡(luò)性能有較大的下降，這有違優(yōu)化復雜網(wǎng)絡(luò)的初衷；

3)將訓練好的復雜卷積神經(jīng)網(wǎng)絡(luò)進行壓縮。對訓練好的網(wǎng)絡(luò)進行壓縮有模型剪枝、矩陣量化和霍夫曼編碼等方式，通過不同的方式對網(wǎng)絡(luò)中的參數(shù)進行量化，最終都能實現(xiàn)對復雜網(wǎng)絡(luò)的壓縮。矩陣量化和霍夫曼編碼對于復雜網(wǎng)絡(luò)是較好的方法，對于模型剪枝，現(xiàn)有的方法用不同的方式對網(wǎng)絡(luò)參數(shù)進行選擇，進而達到模型剪枝的目的，但這些方法對于模型剪枝的程度缺乏定量的論述，只是籠統(tǒng)地確定一個剪枝后的網(wǎng)絡(luò)規(guī)模。

發(fā)明內(nèi)容

本發(fā)明要解決的問題是：現(xiàn)有針對卷積神經(jīng)網(wǎng)絡(luò)的多種精簡方法各自存在著不同的問題：利用淺層網(wǎng)絡(luò)替代復雜網(wǎng)絡(luò)的方法僅限于簡單問題應(yīng)用，難以得到推廣；將復雜卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行二值化處理，會顯著降低網(wǎng)絡(luò)性能；將訓練好的復雜卷積神經(jīng)網(wǎng)絡(luò)壓縮的方法，對于模型剪枝的程度缺乏定量的分析，只是籠統(tǒng)地確定一個剪枝后的網(wǎng)絡(luò)規(guī)模。

本發(fā)明的技術(shù)方案為：一種基于特征映射剪枝的卷積神經(jīng)網(wǎng)絡(luò)精簡方法，所述卷積神經(jīng)網(wǎng)絡(luò)用于圖像分類，針對某個訓練好的卷積神經(jīng)網(wǎng)絡(luò)，自頂層到底層，逐層利用篩選策略對對網(wǎng)絡(luò)模型進行重新訓練直到恢復之前的準確率，最終在不損失原訓練好的網(wǎng)絡(luò)的性能的前提下獲得精簡網(wǎng)絡(luò)模型，包括以下步驟：