[發明專利]一種對抗生成神經網絡壓縮方法

在審

• 申請號: 202211413167.1
• 申請日: 2022-11-11
• 公開（公告）號: CN115660070A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 宮祿齊;李超;孫嘯峰;黃智華
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;楊東煒

目的是解決現有的深度學習模型壓縮技術如剪枝,量化難以直接應用在生成對抗網絡模型中的問題，提出了一種針對生成對抗網絡模型的壓縮方法，(1)獲得將要壓縮的生成對抗網絡，并將其作為教師網絡；(2)構建最大學生網絡模型并預訓練；(3)學生網絡模型剪枝；(4)學生網絡模型蒸餾。本發明能夠有效的減少網絡的參數量與計算量。涉及人工智能領域，具體涉及生成對抗神經網絡壓縮領域。對生成對抗網絡的實際應用與部署有著重要意義。通過本方法，在工業中廣泛使用的cyclegan模型參數量壓縮43倍，模型計算量壓縮29倍，模型的表現能力(FID)幾乎沒有下降，壓縮后的cyclegan′生成的圖片與原cyclegan網絡生成的圖片用肉眼難以分辨。

技術領域

本發明屬于人工智能領域，具體涉及一種生成對抗神經網絡壓縮方法。

背景技術

當下生成對抗神經網絡(gan)模型的使用由訓練和推理兩階段組成，其在圖像生成、圖像轉換、數據增強方面取得了很大成功。與此同時，邊緣智能將人工智能融入邊緣計算，將智能算法部署在邊緣設備,作為更快更好地提供智能服務的一種服務模式。邊緣智能已逐漸滲入各行各業。

然而，當下邊緣智能面臨著巨大挑戰。將gan網絡模型部署在邊緣設備上面臨著計算、存儲、能耗資源受限的挑戰：邊緣設備的計算、存儲能力往往遠小于專用服務器。無法滿足gan網絡模型訓練、推理所需。除此之外，部分邊緣設備采用蓄電池等小型供電設備，無法滿足計算所需的能耗。例如：NVIDIA的AI嵌入式設備Jetson TX2擁有256個CUDA核心、8G內存、7.5W能耗；而NVIDIA 1080TI GPU擁有3584個CUDA核心，11G顯存，二者有很大性能差異。

對gan網絡模型進行壓縮后再部署是解決上述挑戰的有效方法。壓縮后的模型對設備的計算、存儲、能耗資源需求降低很多，同時推理的效果不受太大影響。

目前的通用模型壓縮方法由兩步構成：1.精細網絡結構設計與修剪；2.精細網絡表現提升。精細網絡結構設計與修剪的常見方法有如下幾類：手工設計、量化、剪枝、自動機器學習、網絡分解；精細網絡表現提升的常見方法有：重訓練、知識蒸餾。

對于精細網絡結構設計與修剪：手工設計網絡常用于卷積層結構設計、需要大量經驗和試錯、普適性差；量化通常會導致精度大幅度損失；自動機器學習的假設空間通常非常大，需要強大的計算資源；網絡分解方法普適性差。剪枝方法是最常用的精細網絡設計與修剪方法。對于精細網絡表現提升：重訓練后的模型表現通常差于知識蒸餾方法，知識蒸餾方法是最常用的精細網絡表現提升方法。

知識蒸餾的基本思想是通過軟化的softmax目標變換學習教師網絡輸出的類別分布，將大型網絡模型(教師網絡)的知識精煉為小型網絡模型(學生模型)的知識。該方法的表現較穩定、有完備的數學理論基礎，是較常用的表現提升方法。

模型剪枝的基本思想是尋找一種有效的評判手段來判斷參數或卷積核的重要性，將不重要的連接或者卷積核進行裁剪來減少模型的冗余。常見的模型剪枝分為結構化剪枝和非結構化剪枝。非結構化剪枝的修剪維度是單個連接，結構化剪枝的修剪維度是卷積核。

以上技術常用于卷積神經網絡和其他深度學習模型中。現有的模型壓縮方法由于以下原因，難以直接運用到gan網絡模型中：

1.現有的gan網絡模型的剪枝效果較差，精度損失嚴重。

2.gan網絡模型損失函數收斂不穩定，難以訓練，重訓練方法難以直接應用。

3.gan網絡模型的輸出為圖像，不是邏輯向量輸出，知識蒸餾通常針對邏輯向量輸出，這導致知識蒸餾方法難以直接應用。

發明內容

本發明要解決上述現有深度學習模型壓縮技術難以直接應用在gan網絡模型中的問題，提出了一種gan網絡模型壓縮方法。本發明的目的可以通過本發明中的中間層蒸餾、關系蒸餾、結構化剪枝等方法來達到。