[發明專利]基于FPCC-GAN的構建輕型圖像分類網絡的方法及系統

在審

• 申請號: 202110004474.3
• 申請日: 2021-01-04
• 公開（公告）號: CN112733925A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 張俊三;馮葉棋;邵明文;張世棟
• 申請（專利權）人: 國網山東省電力公司棗莊供電公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園;羅文曌

本發明公開了基于FPCC?GAN的構建輕型圖像分類網絡的方法及系統，屬于深度神經網絡壓縮與加速中參數剪枝的技術領域，本發明要解決的技術問題為如何構建用于圖像分類的輕型網絡，克服現有參數化剪枝成本高、范數準則局限性及依賴標簽訓練的缺點，采用的技術方案具體如下：將數據集圖像隨機輸入預訓練好的分類網絡，得到包含準確語義信息的特征圖；隨機初始化網絡參數：按正態分布隨機初始化待剪枝的分類網絡與對抗判別器中的參數，將數據集圖像輸入網絡模型；訓練待剪枝的分類網絡與判別器的網絡參數，通過L2距離約束，使其生成特征圖的語義信息逐步與預訓練網絡產生的正確語義之間歐氏距離介于0.06?0.2。

技術領域

本發明涉及深度神經網絡壓縮與加速中參數剪枝的技術領域，具體地說是一種基于FPCC-GAN的構建輕型圖像分類網絡的方法及系統。

背景技術

深度神經網絡越來越廣泛地應用在圖像理解、自然語言處理、語音識別等許多領域，但數據存儲與計算量等多種因素都會限制深度神經網絡在便攜、嵌入式設備上的應用。網絡壓縮與加速是近年來深度神經網絡研究中的熱點領域，其目標是減小模型存儲開銷和計算成本，使深度神經網絡可應用于自動駕駛等實時應用，另一目的是將網絡部署到移動端。如果要將深度神經網絡移植到智能化移動嵌入式設備等在線學習和識別任務，實時行人監測識別系統、無人駕駛等，或要在一個板上或者一個小小的芯片上實現應用，必須壓縮模型以實現落地。如實時行人監測識別系統，監控視頻的畫面準確識別出機動車和非機動車的種類以及行人的年齡、性別、穿著等，利用計算機視覺技術，判斷圖像或者視頻序列中是否存在行人，并給予精確定位；將視覺定位、視覺識別等技術與人工智能技術相結合，在智能設備監控、人體行為分析、智能交通等多個方面得到了廣泛應用。

深度神經網絡壓縮與加速的研究大致可以分為五類，具體如下：

①參數剪枝：將已訓練完成的深度神經網絡模型中提取冗余特征、包含少量信息的權值移除，進而壓縮模型的存儲空間并加速模型的計算，同時合理的剪枝能防止模型過擬合；

②低質分解：基于張量的低秩近似理論，將原始張量降維分解為兩個或多個張量，并對分解后的張量進行優化調整；

③緊湊網絡設計：不壓縮已有的網絡，重新構建小而緊湊的網絡模型；

④權值量化：通過降低表示每個權值所需要的比特數來壓縮原始網絡；

⑤知識蒸餾：類似遷移學習，遷移學習的原理是將一個網絡模型的性能遷移到另一個網絡模型上，知識蒸餾將已訓練好的復雜網絡模型所學到的“知識”遷移到一個結構較為簡單的網絡模型中。

深度神經網絡壓縮與加速的研究重點是如何設計出更好的壓縮方法，去掉冗余的網絡結構以獲得計算成本相對較低的神經網絡模型，同時，還應保持較高的精度。雖然眾多研究者做了很多工作，但目前深度神經網絡壓縮與加速的的研究中還存在如下問題：

(1)、非結構化剪枝成本過高：參數剪枝分為結構化剪枝和非結構化剪枝。非結構化剪枝直接修剪網絡中低于閾值的權值，這種做法會造成網絡非結構化稀疏，引起不規則的內存獲取，因此不適合并行計算。此外網絡的非結構化稀疏性使其需要使用專門的軟件和硬件進行計算，實現非常困難并且造價昂貴；而結構化剪枝以通道、卷積核或濾波器為修剪單位，留下一個具有規則結構的網絡模型，不依賴硬件軟件，降低了計算成本，加速了推理；

(2)、范數準則局限性帶來修剪范數值小但重要的濾波器的風險：如附圖2所示，曲線代表網絡的理想濾波器范數分布，a₁和a₂分別是范數分布的最小值和最大值,陰影部分是需要修剪的濾波器。為了選擇合適的閾值P，濾波器范數分布需要滿足范數準則的兩個要求：1)濾波器范數值的偏差較大；2)濾波器的最小范數要足夠小。然而，這些要求并不總是成立，細節如附圖3所示，兩條曲線分別表示理想情況下的濾波器范數分布和實際情況下濾波器范數的分布，實際濾波器范數分布可能存在如下情況：