[發明專利]基于深度神經網絡最小方差梯度量化壓縮及圖像處理方法

有效

• 申請號: 201911029711.0
• 申請日: 2019-10-28
• 公開（公告）號: CN110992432B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 符芳誠;周躍;崔斌;聶小楠
• 申請（專利權）人: 北京大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06K9/62;G06N20/00
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種基于深度神經網絡最小方差梯度量化壓縮及圖像處理方法，針對包含類別標簽的有監督數據，采用深度神經網絡中對梯度進行非均勻量化的網絡壓縮，使用韋伯分布族建模梯度分布，再通過搜索最優量化點求解量化方差最小化，使得量化誤差最小，提高深度神經網絡模型的收斂速度；該神經網絡壓縮方法用于圖像分類處理，可提高圖像處理效率。

技術領域

本發明屬于信息處理技術領域，涉及深度學習及圖像處理技術，尤其涉及一種基于深度神經網絡領域最小方差梯度量化壓縮優化方法及基于壓縮優化的圖像處理方法。

背景技術

在圖像處理技術領域，深度學習(Deep Learning，DL)給機器學習帶來了革命性的變化，并在各種復雜任務上取得了顯著的改進。近年來，隨著圖像處理大數據量的驚人增長，許多研究人員致力于以分布式方式訓練深度神經網絡(DNNs)。在分布式訓練下，普遍采用數據并行隨機梯度下降(SGD)的方法進行訓練，訓練實例分散在每個worker上，每個worker基于自己的數據訓練梯度，然后使用all reduce或參數服務器的方式聚合所有梯度更新模型參數，更新后的參數發送回下一次迭代的所有worker。分布式深度學習雖然減少了計算時間，但數據并行性需要相當大的通信開銷。為此，基于gpu的大規模分布式深度學習中降低通信開銷的研究日益受到關注。在這個方向上，梯度量化是一種眾所周知的方法，通過將梯度量化為更少的比特數可以用來降低處理過程的通信成本。

近年以來，DNNs領域顯著的梯度量化工作是TernGrad和QSGD(①Wen,W.；Xu,C.；Yan,F.；Wu,C.；Wang,Y.；Chen,Y.；and Li,H.2017.Terngrad:Ternary gradients toreduce communication in distributed deep learning.In Advances in neuralinformation processing systems,1509–1519.；②Alistarh,D.；Grubic,D.；Li,J.；Tomioka,R.；and Vojnovic,M.2017.Qsgd:Communication-efficient sgd via gradientquantization and encoding.In Advances in Neural Information ProcessingSystems,1709–1720.)。Terngrad利用無偏性證明了梯度量化方法的收斂性。然而，它只考慮一個很少的量化級別n＝2。在實際應用中，需要獲得理想的收斂性，例如梯度裁剪和不量化最后一個全連接層，但這會損害壓縮比。上述方法還使用了更多的量化級別，考慮了量化級別和收斂性之間的權衡，但該方法只關注了均勻量化。因此，現有方法大多采用均勻量化機制，對梯度值進行均勻量化。這樣的方案可導致較大的量化方差，在實際應用中減慢收斂速度，使得圖像處理效率不高。

發明內容

為了克服上述現有技術的不足，本發明提供一種基于深度神經網絡最小方差梯度量化壓縮優化方法及基于壓縮優化的圖像處理(圖像分類)方法，采用非均勻量化方法，以合理的先驗值逼近梯度分布，根據梯度的分布找到量化方差最小的最優量化點，利用分布特性實現理論上的最優量化方差。在相同的壓縮水平下，本發明方法能獲得較低的量化方差，且收斂速度快于均勻量化方法，與全精度訓練算法具有相似的收斂性能，將上述神經網絡壓縮方法用于圖像分類處理，可提高圖像處理效率。

以下為本發明的術語及相應說明：

梯度下降(GD)：梯度下降是迭代法的一種,可以用于求解最小二乘問題。在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降(Gradient Descent)是最常采用的方法之一。假設目標函數f:的輸入是一個多維向量x＝[x₁,x₂,…,x_d]^T，目標函數f(x)有關x的梯度是一個由偏導數組成的向量為了最小化f(x)，可以通過梯度下降算法來不斷降低目標函數f的值：其中η：學習率。