[發明專利]卷積神經網絡壓縮方法和裝置、圖像分類方法和裝置

在審

• 申請號: 202110671327.1
• 申請日: 2021-06-17
• 公開（公告）號: CN113657421A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 王培松;程健
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張雅娜

1.一種卷積神經網絡壓縮方法，其特征在于，包括：

對預訓練的卷積神經網絡中的各個卷積操作層分別進行卷積核聚類，得到各個卷積操作層對應的卷積核類簇；

對各個卷積操作層對應的每一卷積核類簇進行卷積核剪枝；

對卷積核剪枝后的卷積神經網絡進行重訓練，得到壓縮后的卷積神經網絡。

2.根據權利要求1所述的卷積神經網絡壓縮方法，其特征在于，所述對各個卷積操作層對應的每一卷積核類簇進行卷積核剪枝，具體包括：

基于預設剪枝比例，將任一卷積操作層對應的各個卷積核類簇中距離聚類中心最近的若干個卷積核參數置為0。

3.根據權利要求2所述的卷積神經網絡壓縮方法，其特征在于，所述基于預設剪枝比例，將任一卷積操作層對應的各個卷積核類簇中距離聚類中心最近的若干個卷積核參數置為0，之后還包括：

統計所述任一卷積操作層對應的真實剪枝數量；

對所述任一卷積操作層中未剪枝的卷積核進行補充剪枝；所述補充剪枝的卷積核數量為理論剪枝數量與所述真實剪枝數量之間的差值；所述理論剪枝數量是基于所述預設剪枝比例和所述任一卷積操作層中的卷積核數量確定的。

4.根據權利要求3所述的卷積神經網絡壓縮方法，其特征在于，所述對所述任一卷積操作層中未剪枝的卷積核進行補充剪枝，具體包括：

對所述任一卷積操作層中未剪枝的卷積核根據一范數進行排序；

將范數最小的若干個卷積核的參數置為0。

5.根據權利要求1至4任一項所述的卷積神經網絡壓縮方法，其特征在于，所述對預訓練的卷積神經網絡中的各個卷積操作層分別進行卷積核聚類，具體包括：

基于K均值算法，對預訓練的卷積神經網絡中的各個卷積操作層分別進行卷積核聚類。

6.根據權利要求5所述的卷積神經網絡壓縮方法，其特征在于，所述基于K均值算法，對預訓練的卷積神經網絡中的各個卷積操作層分別進行卷積核聚類，具體包括：

以卷積核為單位，將各個卷積操作層的參數由四維張量重構為二維矩陣；

確定各卷積操作層對應的卷積核聚類的聚類數目；

基于各卷積操作層對應的聚類數目，對各個卷積操作層的卷積核分別進行K均值聚類。

7.根據權利要求6所述的卷積神經網絡壓縮方法，其特征在于，所述確定各卷積操作層對應的卷積核聚類的聚類數目，具體包括：

基于所述預訓練的卷積神經網絡的網絡結構，人工設定各卷積操作層對應的聚類數目；

或，基于不同的可選聚類數目對各個卷積操作層進行卷積核聚類，并計算對應的輪廓系數，將輪廓系數最大時所對應的可選聚類數目作為各卷積操作層對應的聚類數目。

8.一種圖像分類方法，其特征在于，包括：

確定待分類圖像；

將所述待分類圖像輸入至圖像分類網絡，得到所述圖像分類網絡輸出的分類結果；

其中，所述圖像分類網絡是利用如權利要求1至7任一項所述的卷積神經網絡壓縮方法，對初始卷積神經網絡進行壓縮后得到的。

9.一種卷積神經網絡壓縮裝置，其特征在于，包括：

卷積核聚類單元，用于對預訓練的卷積神經網絡中的各個卷積操作層分別進行卷積核聚類，得到各個卷積操作層對應的卷積核類簇；

卷積核剪枝單元，用于對各個卷積操作層對應的每一卷積核類簇進行卷積核剪枝；

網絡重訓練單元，用于對卷積核剪枝后的卷積神經網絡進行重訓練，得到壓縮后的卷積神經網絡。

10.一種圖像分類裝置，其特征在于，包括：

待分類圖像確定單元，用于確定待分類圖像；

圖像分類單元，用于將所述待分類圖像輸入至圖像分類網絡，得到所述圖像分類網絡輸出的分類結果；

其中，所述圖像分類網絡是利用如權利要求1至7任一項所述的卷積神經網絡壓縮方法，對初始卷積神經網絡進行壓縮后得到的。