[發(fā)明專利]一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法

在審

• 申請?zhí)枺?/td>: 202011225115.2
• 申請日: 2020-11-05
• 公開（公告）號: CN112308213A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 彭紹亮;程英杰;王小奇;何芒芒;趙雄君;白亮;李肯立
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 國防科技大學(xué)專利服務(wù)中心 43202
• 代理人: 王文惠

1.一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，包括以下步驟：

步驟1：在卷積神經(jīng)網(wǎng)絡(luò)模型的BN層后加入GFR子模塊，對網(wǎng)絡(luò)模型進行稀疏化處理；

步驟2：重新訓(xùn)練模型，提取各個通道的關(guān)系因子sr和BN層的尺度因子γ；

步驟3：對每個通道的重要性程度進行評估，然后根據(jù)通道的重要性程度對所有通道進行排序；

步驟4：根據(jù)每個通道的重要性程度，使用快速壓縮方法對模型進行壓縮。

2.如權(quán)利要求1所述的一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述步驟1中，GFR子模塊包含三個操作：

(1)壓縮操作：將每個通道矩陣c_t∈R^H×W映射為單個信號z_t，其中H和W分別為通道矩陣的高和寬，采用全局平均池化完成，計算方式為：其中c_t(i,j)表示通道矩陣c_t中第i行第j列對應(yīng)的元素；

(2)學(xué)習(xí)操作：將BN層各通道對應(yīng)的信號z作為輸入，使用兩個全連接層學(xué)習(xí)同一層通道之間的相互關(guān)系s，計算方式為：s＝σ(W₂δ(W₁z))，其中σ表示ReLU激活函數(shù)，W₁和W₂分別是第一層和第二層全連接層的權(quán)重矩陣，δ表示Sigmoid激活函數(shù)；相比信號z，通道關(guān)系s由同一層的通道做信息交互產(chǎn)生，以獲得更高的感受野，且感受野只能局限在當(dāng)前批次的數(shù)據(jù)集上；

(3)固定操作：對數(shù)據(jù)集上所有批次數(shù)據(jù)產(chǎn)生的通道關(guān)系s進行移動平均計算，進一步提高數(shù)據(jù)的感受野，并使每個通道對應(yīng)一個唯一的信號值sr，所述信號值sr用來衡量它對應(yīng)的通道與其它通道的關(guān)系，計算方式為：sr＝αs_i+(1-α)s_i-1，其中α為權(quán)重，設(shè)置為0.98，s_i表示第i個批次數(shù)據(jù)產(chǎn)生的通道關(guān)系s，sr具有整個數(shù)據(jù)集上的全局感受野。

3.如權(quán)利要求1所述的一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述步驟2中，通道的關(guān)系因子來源于GFR子模塊，尺度因子γ來源于BN層，BN層的處理方式為：其中c_out為BN層的輸出，c_in表示BN層的輸入，μ為該數(shù)據(jù)批次上通道的均值，σ表示該數(shù)據(jù)批次上通道的標(biāo)準(zhǔn)差，γ為通道對應(yīng)的尺度因子，β為偏移因子，∈用來保證σ大于0，設(shè)置為0.0001。

4.如權(quán)利要求1所述的一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述步驟3中，結(jié)合通道的關(guān)系因子sr和尺度因子γ，對每個通道的重要性進行評估，得到通道的重要性評分ci，計算方式為：ci＝sr·γ。

5.如權(quán)利要求1所述的一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述步驟4中，使用網(wǎng)格搜索技術(shù)和通道剪枝方法，流程為：

(1)設(shè)定超參數(shù)，包括訓(xùn)練使用的數(shù)據(jù)集，起始剪枝比例ts％，剪枝比例增長幅度step，測試集中每個批次包含的數(shù)據(jù)量，精度丟失容忍度ta；

(2)列出目前模型中存在的所有通道，并根據(jù)每個通道對應(yīng)的重要性評分ci，對他們進行從小到大排序；

(3)保存上一次剪枝后的模型，將其標(biāo)記為model_last，如果還未進行剪枝，則保存原始模型；

(4)刪除原始模型中排序在前ts％的通道，得到新的網(wǎng)絡(luò)模型model_new；

(5)增加剪枝通道的比例，增長幅度由超參數(shù)step控制，增加方式為：ts＝ts+step；

(6)在測試集上對model_new進行測試，記錄其識別精度accuracy，并計算其相比未剪枝前的精度損失,將該損失值記為accuracy loss；

(7)將精度損失值與超參數(shù)精度丟失容忍度進行比較，如果accuracy lossta，則回到(3),否則進入(8)；

(8)將(3)中保存的模型model_last作為給定約束條件下的最優(yōu)剪枝結(jié)果。