[發明專利]基于離散系數的深度網絡模型壓縮方法

在審

• 申請號: 202210521648.8
• 申請日: 2022-05-13
• 公開（公告）號: CN115131646A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 蔣雯;李祥;鄧鑫洋;耿杰
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳科潤知識產權代理事務所(普通合伙) 44724
• 代理人: 劉強強

1.一種基于離散系數的深度網絡模型壓縮方法，其特征在于：包括以下步驟：

步驟一、構建深度網絡模型，深度網絡模型具有k個卷積層；

步驟二、獲取數據集樣本，將數據集樣本均分為n類，每一類樣本類別均包括m個樣本，

步驟三、將數據集樣本輸入深度網絡模型，獲得特征圖集合：按樣本類別將樣本輸入深度網絡模型，獲取特征圖集合X，其中表示第i類樣本類別中第j個樣本經過第l個卷積層中第f_l個卷積核得到的特征圖，1≤j≤m，1≤i≤n，1≤l≤k，1≤f_l≤c_l，c_l表示第l個卷積層的卷積核數量；

步驟四、利用特征圖集合X計算深度網絡模型中各卷積核的激活值

步驟五、利用各卷積核的激活值計算各卷積核的離散系數

步驟六、根據公式計算各卷積核的貢獻度表示第l個卷積層中第f_l個卷積核的貢獻度；

步驟七、根據深度網絡模型各層卷積核的貢獻度對深度網絡模型的各層卷積核進行刪減，對刪減后的各層卷積核的權重和偏置項重新賦值。

2.按照權利要求1所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：獲取刪減后的深度網絡模型的關鍵路徑，根據關鍵路徑回溯得到深度網絡模型的近似樹網絡結構。

3.按照權利要求1所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：各卷積核的激活值的計算方法為：對第i類樣本類別中第j個樣本在第l個卷積層中第f_l個卷積核上基于h×w維度的激活值取最大值，其中第f_l個卷積核的維度為h×w×d。

4.按照權利要求1所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：利用各卷積核的激活值計算各卷積核的離散系數的計算方法為：其中表示卷積核激活值均值在第l個卷積層中第f_l個卷積核上的均值，表示卷積核激活值均值在第l個卷積層中第f_l個卷積核上的標準差，

5.按照權利要求4所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：表示第i類樣本類別的卷積核激活值均值。

6.按照權利要求4所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：

7.按照權利要求1所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：步驟七的具體步驟為：

步驟701、將第x個卷積層共c_x個卷積核的貢獻度按照從小到大的順序排序，對所對應的卷積核進行刪除，得到第x個卷積層第y+1次壓縮后的深度網絡模型，對經過第x個卷積層第y+1次壓縮后的深度網絡模型第x個卷積層的各卷積核的權重和偏置項重新賦值，x的取值依次為k到1，y的取值依次為0到c_x-1；

步驟702、將數據集樣本輸入經過第x個卷積層第y+1次壓縮后的深度網絡模型，計算第x個卷積層第y+1次壓縮后的深度網絡模型的第x個卷積層的網絡性能下降值t_x，若t_x＜t_xtes，進入步驟703，否則恢復第x個卷積層第y+1次壓縮刪除的卷積核，然后進入步驟703，其中t_x-set表示第x個卷積層網絡性能降低的最大限度值；

步驟703、y的取值加1，返回步驟701，重復執行，直到y的取值為c-1，進入步驟704；

步驟704、x的取值減1，返回步驟701，重復執行，直到x的取值為1。

8.按照權利要求7所述的基于離散系數的深度網絡模型壓縮方法，其特征在于：t_x-set＝0.3％。