[發明專利]GAN網絡壓縮方法、裝置、設備及存儲介質

在審

• 申請號: 202011341346.X
• 申請日: 2020-11-25
• 公開（公告）號: CN112465115A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 左童春;何山;胡金水;劉聰;殷兵
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 付麗

1.一種GAN網絡壓縮方法，其特征在于，包括：

獲取待壓縮的GAN網絡，所述GAN網絡包括生成網絡G和判別網絡D；

將所述GAN網絡中每一層的原始操作子替換為至少一個候選操作子，每一層的輸出由每一層替換后的各候選操作子的輸出組成，所述候選操作子的計算量小于所述原始操作子的計算量；

初始化所述GAN網絡中各候選操作子的參數及其權重；

交替迭代更新所述生成網絡G和所述判別網絡D，直至所述GAN網絡收斂；

基于收斂的GAN網絡中每一層各候選操作子的最終權重，確定每一層最終保留的操作子，以得到壓縮后的GAN網絡。

2.根據權利要求1所述的方法，其特征在于，所述將所述GAN網絡中每一層的原始操作子替換為至少一個候選操作子，包括：

讀取預配置的候選操作子列表，所述候選操作子列表中記錄有與各類型原始操作子對應的候選操作子，候選操作子的計算量小于對應的原始操作子；

查詢所述候選操作子列表，確定與所述GAN網絡中每一層的原始操作子對應的各候選操作子，并利用確定的各候選操作子替換GAN網絡中對應的原始操作子。

3.根據權利要求1所述的方法，其特征在于，所述每一層的輸出由每一層替換后的各候選操作子的輸出組成，包括：

每一層的輸出由每一層替換后的各候選操作子輸出的線性加權組成。

4.根據權利要求1所述的方法，其特征在于，初始化所述GAN網絡中各候選操作子的參數及權重，包括：

基于所述GAN網絡中所述原始操作子的參數，對所述原始操作子替換后的各候選操作子的參數進行初始化；以及，

對各候選操作子的權重進行初始化。

5.根據權利要求4所述的方法，其特征在于，所述基于所述GAN網絡中所述原始操作子的參數，對所述原始操作子替換后的各候選操作子的參數進行初始化，包括：

在原始操作子的參數中，選取與候選操作子相同體量的參數，作為候選操作子的初始化參數。

6.根據權利要求1所述的方法，其特征在于，所述生成網絡G和判別網絡D之間具有對稱性，則交替迭代更新所述生成網絡G和所述判別網絡D時所使用的目標損失函數包括：

平衡性損失函數L_Balance，所述平衡性損失函數用于度量，生成網絡G與判別網絡D之間，具有對稱性的兩個網絡層各自包含的候選操作子的權重組成的權重向量的相似度。

7.根據權利要求6所述的方法，其特征在于，所述目標損失函數還包括：

判別網絡損失函數L_FM，所述判別網絡損失函數用于度量，判別網絡D對真實圖像和對生成網絡G所生成圖像分別提取的隱層特征間的相似度；

對抗損失函數L_GAN，所述對抗損失函數用于度量，生成網絡G所生成圖像的分布與真實圖像的分布之間的距離。

8.根據權利要求1所述的方法，其特征在于，所述交替迭代更新所述生成網絡G和所述判別網絡D，直至所述GAN網絡收斂，包括：

按照設定目標損失函數，交替更新生成網絡G和判別網絡D，直至所述GAN網絡收斂，其中：

在更新生成網絡G時，固定判別網絡D所有參數，更新生成網絡G中每個候選操作子的權重α及生成網絡G的網絡參數W_G；

在更新判別網絡D時，固定生成網絡G所有參數，更新判別網絡D中每個候選操作子的權重β及判別網絡D的網絡參數W_D。