[發(fā)明專利]一種自適應(yīng)的非對稱量化的深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法

有效

• 申請?zhí)枺?/td>: 201911269550.2
• 申請日: 2019-12-11
• 公開（公告）號: CN110942148B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計）人: 張麗;潘何益
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京匯信合知識產(chǎn)權(quán)代理有限公司 11335
• 代理人: 周文

本發(fā)明公開了一種自適應(yīng)的非對稱量化的深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法，該方法包括：在深度神經(jīng)網(wǎng)絡(luò)訓練時，每一個批次的訓練過程，在前向傳播開始計算之前，將網(wǎng)絡(luò)的每一層浮點權(quán)重自適應(yīng)的量化為非對稱的三元或四元值；并在反向傳播更新參數(shù)階段，使用原始的浮點型網(wǎng)絡(luò)權(quán)重進行參數(shù)更新；最后對訓練完成的量化深度神經(jīng)網(wǎng)絡(luò)進行壓縮存儲。本發(fā)明降低了深度神經(jīng)網(wǎng)絡(luò)的參數(shù)冗余程度，并對剩余參數(shù)實現(xiàn)自適應(yīng)的量化，對網(wǎng)絡(luò)模型進行極大限度的壓縮，提升了量化方法在深度網(wǎng)絡(luò)及大數(shù)據(jù)集上的識別準確率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度神經(jīng)網(wǎng)絡(luò)模型壓縮技術(shù)領(lǐng)域，尤其涉及一種自適應(yīng)的非對稱量化的深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法。

背景技術(shù)

近些年，深度學習逐漸替代了傳統(tǒng)機器學習在日常生活中的應(yīng)用，諸如語音識別、圖像分類、機器翻譯等一系列機器學習任務(wù)中，深度神經(jīng)網(wǎng)絡(luò)都取得了一定成果。但是，經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)模型，由于其厚重的層級結(jié)構(gòu)帶來數(shù)以百萬計的浮點網(wǎng)絡(luò)參數(shù)運算量，使得大多數(shù)網(wǎng)絡(luò)難以部署到移動設(shè)備、嵌入式設(shè)備當中并保持良好的處理性能。而如何極大限度壓縮神經(jīng)網(wǎng)絡(luò)參數(shù)并保證不低于原網(wǎng)絡(luò)識別性能逐漸成為當前深度學習的重要研究方向。

目前，針對模型參數(shù)冗余性的深度模型壓縮方法分為兩種，早在ICLR2016獲得最佳論文獎的Deep Compression中便對這兩種方法做了詳盡的解釋。其一是基于參數(shù)修剪的技術(shù)(也被稱為網(wǎng)絡(luò)剪枝)，其通過分析網(wǎng)絡(luò)結(jié)構(gòu)的重要性，將不重要的網(wǎng)絡(luò)結(jié)構(gòu)剪掉，來削減模型參數(shù)的冗余性。其二是基于參數(shù)量化的技術(shù)，其將32bit浮點權(quán)重，量化到1-bit、2-bit的有限數(shù)值，以此降低模型參數(shù)占用的內(nèi)存。較為典型的有二值權(quán)重網(wǎng)絡(luò)(BinaryWeight Network，BWN)、三值權(quán)重網(wǎng)絡(luò)(Ternary Weight Network，TWN)，但上述算法選用的量化閾值都存在近似計算，存在一定的不可解釋性。

目前最新的對稱三元量化訓練算法(Trained Ternary Quantization，TTQ)會將網(wǎng)絡(luò)權(quán)重根據(jù)固定的閾值，量化到可訓練的浮點三元值{+α,0,+β}，其將三元值納入損失計算，實現(xiàn)了可解釋的三元值量化，但對于2-bit的參數(shù)空間存在25％的參數(shù)空間浪費的問題。

目前最新的非對稱三元量化算法(Asymmetric Ternary Networks，ATNs)會將網(wǎng)絡(luò)權(quán)重根據(jù)非對稱的閾值因子，量化到非對稱的三元值{-α，0，+α}，其采用的量化算法為：

在量化算法的設(shè)定上，其認為經(jīng)過訓練，網(wǎng)絡(luò)的正負權(quán)重不滿足相同的分布，但申請人認為當正負權(quán)重分布的不均勻程度過大時，會對非對稱三元量化值的表征能力起反作用。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)中存在的不足之處，本發(fā)明提供一種自適應(yīng)的非對稱量化的深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法，以解決使用假設(shè)場景的近似計算獲得閾值帶來的不穩(wěn)定性；使用三元值量化所導致的表征能力不足的問題；以及三元值壓縮至2-bit導致的參數(shù)空間利用率低的問題。

針對上述問題，為了避免三元值在某些情況下表征能力不足的問題，本發(fā)明提出在一定情況下采用非對稱的四元值進行量化，在一般情況下仍采用非對稱的三元值進行量化的解決方案。為了避免近似計算取得量化縮放因子所帶來的不穩(wěn)定性，本發(fā)明提出采用可訓練的多元量化縮放因子的解決方案。

具體地，該自適應(yīng)的非對稱量化的深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法包括：

在深度神經(jīng)網(wǎng)絡(luò)訓練時，對于每一批次的訓練過程，在前向傳播開始計算之前，將網(wǎng)絡(luò)的每一層浮點權(quán)重自適應(yīng)的量化為非對稱的三元值或四元值；

在反向傳播更新參數(shù)階段，使用原始的浮點型網(wǎng)絡(luò)權(quán)重進行參數(shù)更新；

對訓練完成的量化深度神經(jīng)網(wǎng)絡(luò)進行壓縮存儲。

其中，在將網(wǎng)絡(luò)的每一層浮點權(quán)重自適應(yīng)的量化為非對稱的三元值或四元值時，自適應(yīng)量化的三元值的表達式如下：