[發明專利]GAN網絡壓縮方法、裝置、設備及存儲介質

在審

• 申請號: 202011341346.X
• 申請日: 2020-11-25
• 公開（公告）號: CN112465115A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 左童春;何山;胡金水;劉聰;殷兵
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 付麗

本申請公開了一種GAN網絡壓縮方法、裝置、設備及存儲介質，對于待壓縮的GAN網絡，將其中每一層的原始操作子替換為至少一個候選操作子，每一層的輸出由每一層替換后的各候選操作子的輸出組成，并且候選操作子的計算量小于被替換的原始操作子的計算量，初始化GAN網絡中各候選操作子的參數及其權重，交替更新生成網絡G和判別網絡D，直至GAN網絡收斂為止，基于收斂的GAN網絡中每一層各候選操作子的最終權重，確定每一層最終保留的操作子，以得到壓縮后的GAN網絡。本申請方案同時對GAN網絡中生成網絡G和判別網絡D進行壓縮，在實現對GAN網絡壓縮的同時，保證了壓縮后GAN網絡的平衡性。

技術領域

本申請涉及模型處理技術領域，更具體的說，是涉及一種GAN網絡壓縮方法、裝置、設備及存儲介質。

背景技術

隨著圖像、視頻生成技術的發展，基于GAN的生成技術得到了廣泛的應用，例如圖像轉換，圖像修復，圖像超分辨率等。

GAN(Generative Adversarial Networks，生成式對抗網絡)是一種深度學習模型，是近年來復雜分布上無監督學習最具前景的方法之一。GAN網絡通過生成網絡G(Generative Model)和判別網絡D(Discriminative Model)的互相博弈學習產生相當好的輸出。

但是當前圖像生成網絡的計算量比識別網絡大幾個數量級。為了將生成網絡部署到手機，平板等處理性能偏低的終端設備上，GAN網絡壓縮就顯得十分關鍵。

發明內容

鑒于上述問題，提出了本申請以便提供一種GAN網絡壓縮方法、裝置、設備及存儲介質，通過對GAN網絡進行壓縮，以實現在低性能終端設備上運行GAN網絡。具體方案如下：

一種GAN網絡壓縮方法，包括：

獲取待壓縮的GAN網絡，所述GAN網絡包括生成網絡G和判別網絡D；

將所述GAN網絡中每一層的原始操作子替換為至少一個候選操作子，每一層的輸出由每一層替換后的各候選操作子的輸出組成，所述候選操作子的計算量小于所述原始操作子的計算量；

初始化所述GAN網絡中各候選操作子的參數及其權重；

交替迭代更新所述生成網絡G和所述判別網絡D，直至所述GAN網絡收斂；

基于收斂的GAN網絡中每一層各候選操作子的最終權重，確定每一層最終保留的操作子，以得到壓縮后的GAN網絡。

優選地，所述將所述GAN網絡中每一層的原始操作子替換為至少一個候選操作子，包括：

讀取預配置的候選操作子列表，所述候選操作子列表中記錄有與各類型原始操作子對應的候選操作子，候選操作子的計算量小于對應的原始操作子；

查詢所述候選操作子列表，確定與所述GAN網絡中每一層的原始操作子對應的各候選操作子，并利用確定的各候選操作子替換GAN網絡中對應的原始操作子。

優選地，所述每一層的輸出由每一層替換后的各候選操作子的輸出組成，包括：

每一層的輸出由每一層替換后的各候選操作子輸出的線性加權組成。

優選地，初始化所述GAN網絡中各候選操作子的參數及權重，包括：

基于所述GAN網絡中所述原始操作子的參數，對所述原始操作子替換后的各候選操作子的參數進行初始化；以及，

對各候選操作子的權重進行初始化。

優選地，所述基于所述GAN網絡中所述原始操作子的參數，對所述原始操作子替換后的各候選操作子的參數進行初始化，包括：

在原始操作子的參數中，選取與候選操作子相同體量的參數，作為候選操作子的初始化參數。