[發明專利]神經網絡的量化與定點化融合方法及裝置

有效

• 申請號: 201910966512.6
• 申請日: 2019-10-11
• 公開（公告）號: CN110705696B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 齊南
• 申請（專利權）人: 阿波羅智能技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 鄧海鴻;陳建民

本申請公開了神經網絡的量化與定點化融合方法、裝置、電子設備及存儲介質，涉及人工智能領域，尤其是自動駕駛(包括自主泊車)領域。具體實現方案為：對神經網絡的當前層的輸入數據和權重做量化處理；在當前層中，利用量化處理后的權重對量化處理后的輸入數據做計算操作，得到計算操作結果；對預設處理參數進行定點化處理；利用定點化處理后的預設處理參數，對計算操作結果進行后處理操作，得到當前層的輸出結果。本申請實施例通過量化處理與定點化處理的融合，明顯降低了算子之間的數據傳輸對帶寬的要求，有效降低了加速單元的計算量，充分發揮了加速單元的定點化計算的優勢，降低了計算對資源的要求，在節省資源的同時提升了計算效率。

技術領域

本申請涉及一種信息技術領域，尤其涉及一種涉及人工智能領域，尤其是自動駕駛(包括自主泊車)領域。

背景技術

傳統的神經網絡的計算基于高bit(比特)的浮點運算，造成大量的計算資源浪費，而且容易過擬合，降低了模型的泛化能力。在神經網絡的傳統加速方法中，即使采用了低bit的浮點或者整數預算，在處理中間的浮點運算的過程中也會造成精度的浪費，從而導致最終結果在后續過程的使用前做截斷操作。這種方式既浪費了精度也降低了計算力。

例如，目前的神經網絡在嵌入式平臺的推理有如下幾種解決方案：(1)選取小型網絡。(2)模型剪枝壓縮。(3)參數量化。

上述解決方案具有如下缺陷：

方案(1)只能解決簡單的任務，適合簡單場景，如果任務復雜則需要更為復雜結構的模型，該方法無法滿足復雜任務的需求。

方案(2)是將規模較大的網絡減少內部分支。該方法看似可以完成簡單任務也可以適應復雜任務，但是該方法不適用于高并行度運行的加速單元。由于對網絡結構做了調整，在實現并行方面有明顯問題，無法發揮出加速單元的加速能力。

方案(3)通常是對參數部分做了量化，在網絡加速和運行效率的提升方面不能達到理想的效果。

再如，涉及人工智能領域，尤其是自動駕駛領域，也存在同樣的問題。例如，在自主泊車領域的應用場景中，傳統的神經網絡的計算基于高bit的浮點運算，造成大量的計算資源浪費。或者，在神經網絡的傳統加速方法中，即使采用了低bit的浮點或者整數預算，在處理中間的浮點運算的過程中造成精度的浪費，既浪費了精度也降低了計算力。

發明內容

本申請實施例提出一種神經網絡的量化與定點化融合方法、裝置、電子設備及存儲介質，以至少解決現有技術中的以上技術問題。

第一方面，本申請實施例提供了一種神經網絡的量化與定點化融合方法，包括：

對神經網絡的當前層的輸入數據和權重做量化處理；

在當前層中，利用量化處理后的權重對量化處理后的輸入數據做計算操作，得到計算操作結果；

對預設處理參數進行定點化處理；

利用定點化處理后的預設處理參數，對計算操作結果進行后處理操作，得到當前層的輸出結果。

本申請實施例中，通過量化處理與定點化處理的融合，明顯降低了算子之間的數據傳輸對帶寬的要求，有效降低了加速單元的計算量，充分發揮了加速單元的定點化計算的優勢。同時通過量化處理和定點化處理降低了計算對資源的要求，在節省資源的同時提升了計算效率。

在一種實施方式中，計算操作包括將量化處理后的輸入數據與量化處理后的權重相乘；

預設處理參數包括當前層的第一偏置值；

后處理操作包括將計算操作結果與定點化處理后的第一偏置值相加。

本申請實施例中，將用于計算操作的輸入數據和權重的量化處理，和用于后處理操作的預設處理參數的定點化處理相融合，從而達到很好的神經網絡加速效果。