[發明專利]一種深度神經網絡的激活量量化方法及裝置

有效

• 申請號: 201710899328.5
• 申請日: 2017-09-28
• 公開（公告）號: CN109583561B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 楊希超;張淵;謝迪;浦世亮
• 申請（專利權）人: 杭州?？低晹底旨夹g股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種深度神經網絡的激活量量化方法，其特征在于，所述方法包括：

針對深度神經網絡中網絡層的激活量，獲取所述激活量的初始量化最大值，其中，所述激活量為輸入至所述深度神經網絡的圖像或音頻的特征的數字化表示；

從所述初始量化最大值開始，按預設方式遞減，得到包括多個數值的初始待選數值集合；

計算利用所述初始待選數值集合中各數值對所述激活量進行量化得到的量化結果與所述激活量之間的重構誤差；

確定各數值對應的重構誤差中的最小重構誤差；

基于與所述最小重構誤差相對應的數值，確定第一量化最大值；

根據所述第一量化最大值及預設比特數，對所述激活量進行量化。

2.根據權利要求1所述的方法，其特征在于，所述從所述初始量化最大值開始，按預設方式遞減，得到包括多個數值的初始待選數值集合，包括：

從所述初始量化最大值開始，每次以除以2的方式遞減，得到多個數值；

將所述多個數值組合成為初始待選數值集合。

3.根據權利要求1所述的方法，其特征在于，所述基于與所述最小重構誤差相對應的數值，確定第一量化最大值，包括：

將與所述最小重構誤差相對應的數值確定為第一量化最大值。

4.根據權利要求1所述的方法，其特征在于，所確定的各數值對應的重構誤差中的最小重構誤差，作為所述初始待選數值集合對應的最小重構誤差；

在所述根據所述第一量化最大值及預設比特數，對所述激活量進行量化之后，所述方法還包括：

獲取對量化后的激活量進行深度神經網絡運算，得到的運算結果；

對比所述運算結果與預設任務結果之間的差異；

如果所述差異大于第一預設閾值，則通過將包含所述初始待選數值集合對應的最小重構誤差的預設區間劃分為新的待選數值集合，查找使得所述新的待選數值集合對應的最小重構誤差與上一次得到的待選數值集合對應的最小重構誤差之間的差值小于第二預設閾值的第二量化最大值，并根據所述第二量化最大值及預設比特數，對所述激活量進行量化。

5.根據權利要求4所述的方法，其特征在于，所述通過將包含所述初始待選數值集合對應的最小重構誤差的預設區間劃分為新的待選數值集合，查找使得所述新的待選數值集合對應的最小重構誤差與上一次得到的待選數值集合對應的最小重構誤差之間的差值小于第二預設閾值的第二量化最大值，包括：

步驟A、按照預設數量，將所述待選數值集合中，與最小重構誤差相對應的數值相鄰的兩個數值構成的區間進行等分，得到包括多個更新數值的新的待選數值集合；

步驟B、計算利用各更新數值對所述激活量進行量化得到的量化結果與所述激活量之間的重構誤差；

步驟C、確定各更新數值對應的重構誤差中的最小重構誤差，作為所述新的待選數值集合對應的最小重構誤差；

步驟D、判斷所述新的待選數值集合對應的最小重構誤差與上一次得到的待選數值集合對應的最小重構誤差之間的差值的是否小于第二預設閾值：

步驟E、如果小于，則將與所述新的待選數值集合對應的最小重構誤差相對應的數值確定為第二量化最大值；

步驟F、如果不小于，則返回步驟A。

6.一種深度神經網絡的激活量量化裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于針對深度神經網絡中網絡層的激活量，獲取所述激活量的初始量化最大值，其中，所述激活量為輸入至所述深度神經網絡的圖像或音頻的特征的數字化表示；

遞減模塊，用于從所述初始量化最大值開始，按預設方式遞減，得到包括多個數值的初始待選數值集合；

計算模塊，用于計算利用所述初始待選數值集合中各數值對所述激活量進行量化得到的量化結果與所述激活量之間的重構誤差；

確定模塊，用于確定各數值對應的重構誤差中的最小重構誤差；基于與所述最小重構誤差相對應的數值，確定第一量化最大值；

量化模塊，用于根據所述第一量化最大值及預設比特數，對所述激活量進行量化。