[發(fā)明專利]一種基于熵重要性準則模型的卷積核裁剪方法

有效

• 申請?zhí)枺?/td>: 201910400922.4
• 申請日: 2019-05-15
• 公開（公告）號: CN110119811B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計）人: 閔銳;蔣霆
• 申請（專利權(quán)）人: 電科瑞達（成都）科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 孫一峰

1.一種基于熵重要性準則模型的卷積核裁剪方法，其特征在于，包括以下步驟：

S1、獲取訓練樣本：采集原始的光學圖像數(shù)據(jù)，并進行數(shù)據(jù)歸一化以及數(shù)據(jù)增強處理，獲得訓練樣本；

S2、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型：

構(gòu)建一個由卷積濾波器與池化濾波器級聯(lián)而成的卷積神經(jīng)網(wǎng)絡(luò)，卷積濾波器用于對輸入數(shù)據(jù)進行特征提取，卷積濾波器的數(shù)量表示提取的特征的數(shù)量；池化濾波器用于對輸入數(shù)據(jù)進行降維；

S3、卷積神經(jīng)網(wǎng)絡(luò)模型訓練：

S31、參數(shù)初始化，包括學習率α、總的裁剪次數(shù)為n，每次裁剪后對當前模型微調(diào)訓練迭代次數(shù)為m，Mini-batch大小M，閾值T₁，T₂，T₃，T₄，信息熵公式中將一幅圖像分成的局部區(qū)域個數(shù)為K，全局裁剪時每次迭代裁剪的卷積核個數(shù)為X，逐層裁剪時每次迭代裁剪的卷積核個數(shù)x，采用隨機梯度優(yōu)化算法SGD作為優(yōu)化函數(shù)；

S32、每次從訓練樣本中隨機抽取包含M個樣本的Mini-batch作為訓練數(shù)據(jù)進行訓練；并基于熵重要性準則模型進行卷積核裁剪操作，具體裁剪方式如下：

采用圖像熵的評價準則作為熵重要性準則模型，在卷積神經(jīng)網(wǎng)絡(luò)模型訓練的過程中，對每一卷積層的激活通道計算圖像熵，對每一個卷積層的每個通道編號，將所有卷積層的激活通道匯總，根據(jù)圖像熵的值計算排序；

所述圖像熵的大小用于反映一幅圖像中平均信息量的多少，圖像熵的表達式為：

其中K表示對一幅圖像分為幾個部分，K的選擇對整體性能會產(chǎn)生影響；p_n表示每個部分中的像素個數(shù)占比整個圖像所得到的概率；

卷積核裁剪的方法是：在模型的第i層卷積層，定義I_i∈R^N×C×H×W為輸入張量，其中N為一個數(shù)據(jù)Batch的大小，C為輸入的激活通道的維度，H,W為輸入的寬高維度，定義O_i∈R^N×D×H×W為輸出張量，其中D為輸出的激活通道的維度，定義w_i＝R^N×C×B×B為卷積的參數(shù)矩陣，B為當前層卷積核的大小，卷積核裁剪目標為裁剪掉卷積核ω_i；因卷積核是與單個的激活通道一一對應，將圖像熵的值用于評估對應卷積核的重要性，在每次裁剪時，裁剪整個模型中X個熵值小的卷積核作為本次裁剪結(jié)果，隨著裁剪次數(shù)增加，被裁剪掉的卷積核個數(shù)將增加，X的值根據(jù)整個模型的卷積核個數(shù)來設(shè)定，是一個超參數(shù)，設(shè)定大小對裁剪結(jié)果會產(chǎn)生影響；

S33、每次裁剪后，繼續(xù)微調(diào)訓練m次，然后對當前的模型在測試集上進行測試，隨著模型卷積核被裁剪，模型在測試集上的正確率將逐漸降低，每次測試的正確率都同設(shè)定的正確率的最低閾值T₁進行比較，如果當前在測試集上的正確率小于等于T₁，或者裁剪后的模型剩下的卷積核個數(shù)已經(jīng)達到所設(shè)定的最少卷積核個數(shù)閾值T₂，進入步驟S34；如果高于T₁以及T₂且沒有達到最大裁剪次數(shù)n，那么回到步驟S32，繼續(xù)訓練；

S34、對前序步驟中通過全局裁剪方式得到的模型，繼續(xù)對該模型的每層卷積層進行逐層裁剪，具體方式為：

從該模型的第一層卷積層開始遍歷，設(shè)當前遍歷的卷積層為i，計算i層當前剩下的激活通道的圖像熵值，根據(jù)該圖像熵值對該層所對應的卷積核進行排序，按照排序結(jié)果裁剪掉圖像熵值小的x個卷積核；裁剪后，繼續(xù)微調(diào)訓練m次，然后對當前的模型在測試集上進行測試，隨著模型單層卷積核繼續(xù)被裁剪，模型在測試集上的正確率將逐漸降低，每次測試的正確率都同設(shè)定的正確率的最低閾值T₃進行比較，如果當前在測試集上的正確率小于等于T₃，或者裁剪后的模型剩下的卷積核個數(shù)已經(jīng)達到所設(shè)定的最少卷積核個數(shù)閾值T₄，那么遍歷下一層卷積層，直到遍歷完該模型的所有卷積層，否則，繼續(xù)對當前層i進行裁剪。