[發明專利]一種對抗生成神經網絡壓縮方法

在審

• 申請號: 202211413167.1
• 申請日: 2022-11-11
• 公開（公告）號: CN115660070A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 宮祿齊;李超;孫嘯峰;黃智華
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;楊東煒

1.一種生成對抗神經網絡壓縮方法，包括如下步驟：

(1)獲得將要壓縮的生成對抗網絡，并將其作為教師網絡；

(2)構建最大學生網絡模型并預訓練；

(3)學生網絡模型剪枝；

(4)學生網絡模型蒸餾。

2.如權利要求1所述的一種生成對抗神經網絡壓縮方法，其特征在于：步驟(1)通過自行構建生成對抗網絡。

3.如權利要求1所述的一種生成對抗神經網絡壓縮方法，其特征在于：步驟(1)使用工業上廣泛使用的生成對抗網絡來作為教師網絡。

4.如權利要求1所述的一種生成對抗神經網絡壓縮方法，其特征在于：步驟(2)設置最大學生網絡模型為教師網絡修改以下部分：

(2.1)修改主干網絡的殘差塊結構：

(2.2)降低主干網絡寬度：將主干網絡每層卷積層按比例進行縮減；

(2.3)增加主干網絡的殘差塊層數。

5.如權利要求4所述的一種生成對抗神經網絡壓縮方法，其特征在于：步驟(2.1)具體包括：將教師網絡中的標準殘差塊中的卷積層替換為特制的三個卷積層，其由膨脹卷積層、深度卷積層、線性映射層組成；膨脹卷積層：卷積核尺寸為1*1。作用為將輸入特征的通道數增加，從低維空間映射到高維空間，便于在高維空間提取特征；深度卷積層：卷積核尺寸為3*3。該層為組卷積層，分組數目等于該卷積層輸入通道數目；線性映射層：卷積核尺寸為1*1。將特征的通道數降低，從高維空間映射到低維空間，便于后續層的處理；

設殘差塊卷積層的輸入、輸出通道數為128，則標準殘差塊卷積層的參數量為：128*128*3*3＝147456；若膨脹系數為2，則特制殘差塊卷積層的參數量為：128*128*2*1*1+128*2*3*3+128*2*128*1*1＝67840，該改變使得殘差塊達到兩倍以上參數量壓縮效果；

步驟(2.3)具體包括：以cyclegan為例，教師網絡的主干網絡中共有18層殘差塊，學生網絡的主干網絡中可增加為24層殘差塊；在減少模型寬度的同時增加模型深度，避免主干網絡的表達能力下降。

6.如權利要求1所述的一種生成對抗神經網絡壓縮方法，其特征在于：步驟(3)使用的剪枝方法為結構化剪枝方法，用于對卷積層進行卷積核維度修剪；對于同一個卷積層中的所有卷積核，將計算卷積核之間的幾何距離，兩個幾何距離近的卷積核簡化為一個卷積核表示。