[發明專利]基于漸進式量化和Hessian信息的神經網絡混合量化方法

有效

• 申請號: 202010915248.6
• 申請日: 2020-09-03
• 公開（公告）號: CN112183742B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 王振寧;許金泉;王溢;蔡碧穎
• 申請（專利權）人: 南強智視（廈門）科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/02
• 代理公司: 泉州市潭思專利代理事務所(普通合伙) 35221
• 代理人: 廖仲禧;麻艷

本發明公開一種基于漸進式量化和Hessian信息的神經網絡混合量化方法，步驟是：給定圖像?標簽對集合，劃分樣本集和校準集；定義神經網絡每層可選的量化精度范圍；隨機選擇量化層做降bit量化，重復采樣n次，得到n個基礎的混合精度模型；以校準集中的圖像?標簽對作為輸入，對所有候選的混合精度神經網絡模型進行一次前向過程；利用Adam二階Momentum信息計算Hessian近似值；再計算性能評價指標，將n個指標排序，選擇最小值對應混合精度策略作為當前步次下性能最好的混合精度超參組合，計算模型的計算成本，再對當前的混合精度網絡模型做訓練；迭代至滿足結束條件。此方法能夠極大地減少每一步次中的可優化的混合精度搜索空間，同時提高量化模型的性能評估效率。

技術領域

本發明屬于神經網絡壓縮與加速技術領域，更具體的，是利用量化的技術，提高神經網絡模型計算速度，降低模型的內存存儲量，可用于圖片分類、目標檢測、超分辯率重建等各種應用領域。

背景技術

近些年來，人工智能的產品逐漸打開了千家萬戶的門，智能機器人、VR、無人駕駛車等等慢慢進入人的眼球，但是這些設備都面臨著計算性能低，存儲量低的問題，這就使得很多高效的算法無法在這些設備上進行應用。

隨著神經網絡算法的發展，網絡性能越來越強，但是隨之帶來的是對計算資源和內存存儲的耗費，為了得到更高效的網絡結構以及能部署在移動端，近幾年神經網絡的壓縮算法成了一個研究熱點，主要的網絡壓縮途徑有五種，量化、剪枝、低秩分解、教師-學生網絡、輕量化網絡設計，量化就是將浮點存儲和運算轉換成定點存儲和運算，將以往用32bit或者64bit表達的浮點數用1bit、2bit占用較少內存空間的形式進行存儲和運算，是一種行之有效且具有非常好的應用前景的技術。

如參考文獻(Jacob?B,Kligys?S,Chen?B,et?al.Quantization?and?training?ofneural?networks?for?efficient?integer-arithmetic-only?inference.InProceedings?of?the?IEEE?Conference?on?Computer?Vision?and?PatternRecognition.2018.)中所述，神經網絡量化算法需要確定三個主要的變量：量化bit數、尺度縮放因子以及在非均勻量化算法中的零點偏移量。

傳統的量化方法通過對整個網絡結構設定相同的量化bit數來進行壓縮與加速，盡管取得了顯著的進步，但仍然面臨著網絡性能下降的困擾，尤其是在更低bit的網絡結構上。例如，基于二值化網絡的方法(Hubara?I,Courbariaux?M,Soudry?D,et?al.Binarizedneural?networks.In?Neural?Information?Processing?Systems,2016.)、三值量化網絡(Rastegari?M,Ordonez?V,Redmon?J,et?al.Xnor-net:Imagenet?classification?usingbinary?convolutional?neural?networks.In?European?Conference?on?ComputerVision.Springer,Cham,2016.)以及低bit網絡(Zhou?S,Wu?Y,Ni?Z,et?al.Dorefa-net:Training?low?bitwidth?convolutional?neural?networks?with?low?bitwidthgradients.arXiv?preprint?arXiv:1606.06160,2016.)受限于較低的表達空間，神經網絡性能隨著量化bit數的降低而急劇下降。近期基于強化學習、進化學習、可求導的神經網絡量化算法相繼提出，通過混合bit精度表達來提高量化網絡性能。但是區分混合精度策略的性能估計方法仍然是基于訓練的方式，另外其搜索空間隨著候選混合精度bit數集的大小而呈指數級增長。

發明內容