[發明專利]可調節量化位寬的神經網絡量化與壓縮的方法及裝置

有效

• 申請號: 201710624244.0
• 申請日: 2017-07-27
• 公開（公告）號: CN107480770B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 程健;賀翔宇;胡慶浩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

1.一種卷積神經網絡量化與壓縮的方法，其特征在于，包括：

獲取原始卷積神經網絡卷積層初始的權值張量、以及除所述原始卷積神經網絡的第一層以外各層初始的輸入特征張量；

基于預先設定的量化位寬，對所述初始的權值張量以及所述初始的輸入特征張量進行定點量化，分別得到權值定點表示張量以及輸入特征定點表示張量；

利用所述權值定點表示張量以及所述輸入特征定點表示張量，分別替換所述初始的權值張量以及所述初始的輸入特征張量，得到對所述原始卷積神經網絡量化與壓縮后的新的卷積神經網絡；

其中，所述對所述初始的權值張量以及所述初始的輸入特征張量進行定點量化，具體為：

對所述原始卷積神經網絡中各卷積層，將所述初始的輸入特征張量進行由浮點數到定點數的量化，獲得與所述初始的輸入特征張量近似的第一輸入特征張量，所述第一輸入特征張量為輸入特征定點表示張量，直至所述原始卷積神經網絡中所有卷積層被遍歷；

對所述原始卷積神經網絡中各卷積層，將所述初始的權值張量進行由浮點數到定點數的量化，獲得權值縮放系數以及第一權值張量，直至所述原始卷積神經網絡中所有卷積層被遍歷；

其中，所述利用所述權值定點表示張量以及所述輸入特征定點表示張量，分別替換所述初始的權值張量以及所述初始的輸入特征張量，得到對所述原始卷積神經網絡量化與壓縮后的新的卷積神經網絡，具體包括：

將所述權值縮放系數和所述第一權值張量進行乘積計算，得到第二權值張量，并將所述權值縮放系數進行迭代直至收斂于穩定的權值縮放系數，再將穩定的權值縮放系數與所述第二權值張量進行乘積，并將得到的結果替換初始的權值張量；將所述第一輸入特征張量利用較高位寬的定點數進行近似，并將得到的結果替換初始的輸入特征張量，對原始卷積神經網絡進行量化與壓縮，進而得到新的卷積神經網絡。

2.根據權利要求1所述的卷積神經網絡量化與壓縮的方法，其特征在于，將所述初始的輸入特征張量與權值張量進行由浮點數到定點數的量化，其方法為：

使用最近鄰法對所述初始的輸入特征張量與權值張量進行由浮點數到定點數的量化。

3.根據權利要求2所述的卷積神經網絡量化與壓縮的方法，其特征在于，所述得到權值定點表示張量，其方法包括：

基于預先設定的量化位寬直接量化所述初始的權值張量得到權值定點表示張量，或者基于預先設定的量化位寬量化所述初始的權值張量，將得到的結果進行迭代訓練后，得到權值定點表示張量。

4.根據權利要求3所述的卷積神經網絡量化與壓縮的方法，其特征在于，所述將得到的結果進行迭代訓練，其方法為：

對所述權值縮放系數進行初始化；

將所述第一權值張量依照所述權值縮放系數進行縮放，將縮放結果按照所述量化位寬進行量化，得到第二權值張量；

求解權值縮放系數，直至權值縮放系數收斂于設定的穩定值，得到穩定的權值縮放系數；

對第二權值張量與穩定的權值縮放系數進行乘積操作，得到權值定點表示張量。

5.根據權利要求4所述的卷積神經網絡量化與壓縮的方法，其特征在于，求解所述權值縮放系數，其方法為：

將所述第二權值張量與所述權值縮放系數代入公式計算對所述第一權值張量的最優表示，根據計算結果更新所述權值縮放系數，具體公式為：

其中，α_g表示權值縮放系數，Q_g表示第二權值張量，W_g表示第一權值張量。

6.根據權利要求5所述的卷積神經網絡量化與壓縮的方法，其特征在于，所述第二權值張量與所述權值縮放系數一一對應。