[發明專利]用于神經網絡的壓縮和推斷加速的非對稱量化

在審

• 申請號: 202010526606.4
• 申請日: 2020-06-11
• 公開（公告）號: CN112085154A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 楊穎振;趙志彪;趙寶新;浣軍;歐陽劍;王勇;施佳鑫
• 申請（專利權）人: 百度(美國)有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N5/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本公開涉及用于神經網絡的壓縮和推斷加速的非對稱量化。改進的非對稱量化的實施例，通常可被稱為改進非對稱量化(IAQ)實施例。IAQ實施例結合常規的非對稱量化和對稱量化的優點，但也提供了額外的計算效率。IAQ的實施例采用神經網絡層的權重的非對稱范圍，因此它們規避了對稱量化的對稱范圍的限制。另外，通過量化每個層的偏移值，通過IAQ實施例量化的神經網絡的推斷過程比由常規的非對稱量化而量化的神經網絡的推斷過程快得多。

技術領域

本公開一般涉及用于計算機學習的系統和方法，可以提供改進的計算機性能、特征和用途。更特別地，本公開涉及神經網絡的改進的壓縮和改進的加速推斷的實施例。

背景技術

深度神經網絡(Deep Neural Network,DNN)在人工智能中實現了驚人成就。然而，DNN的模型大小通常非常大。權重量化是通過使用用于DNN的每個浮動權重的低位表示壓縮DNN的重要方法。傳統的對稱量化假設權重的范圍關于零對稱。這種假設在實踐中通常不成立。因此，非對稱量化已經被廣泛地用于規避對稱量化的缺點。然而，常規的非對稱量化導致經量化的DNN的推斷過程中的延遲，部分是因為添加的計算以及因為計算的類型。

因此，需要提供神經網絡的改進的非對稱量化、改進的加速或兩者的系統和方法，改進的非對稱量化提供壓縮，這有助于降低存儲器和處理要求，通過降低由于量化引起的計算負荷提高神經網絡的加速。

發明內容

在第一方面中，提供一種用于神經網絡的量化的計算機實現的方法，包括：

從用于所述神經網絡的層的權重值中識別極值權重值的集合，所述極值權重值的集合包括最大權重值和最小權重值；

使用所述極值權重值的集合和將用于以量化形式表示所述權重值的位的數量來獲得用于量化用于所述神經網絡的層的所述權重值的縮放因子；

使用所述極值權重值中的一個以及所述縮放因子以量化用于所述神經網絡的層的所述權重值；

使用所述縮放因子和來自被用于量化所述層的所述權重值的所述極值權重值的集合的極值來獲得用于所述層的偏移值，所述偏移值是整數值；以及

對于所述層，存儲所述縮放因子、所述偏移值及經量化的權重以在推斷期間使用，其中獲得用于所述層的輸出包括僅使用整數運算，以通過所述偏移值調整所述經量化的權重，以及將經調整的經量化的權重值與用于所述層的輸入值相乘。

在第二方面中，提供一種系統，包括：

一個或多個處理器；以及

非暫時性計算機可讀介質，包括一個或多個指令集，所述一個或多個指令集在由所述一個或多個處理器中的至少一個執行時，使得如第一方面所述的方法的步驟被執行。

在第三方面中，提供一種非暫時性計算機可讀介質，包括一個或多個指令序列，所述一個或多個指令序列在由一個或多個處理器執行時，使得如第一方面所述方法的步驟被執行。

根據本發明的實施例采用神經網絡層的權重的非對稱范圍，因此規避了對稱量化的對稱范圍的限制。另外，通過量化每個層的偏移值，通過本發明的實施例量化的神經網絡的推斷過程比由常規的非對稱量化而量化的神經網絡的推斷過程快得多。

附圖說明

將參考本公開的實施例，其示例可以在附圖中示出。這些附圖旨在說明而非限制。盡管本公開一般在這些實施例的上下文中描述，但是應當理解的是，其不旨在將本公開內容的范圍限制于這些特別的實施例。圖中的項目可以不是按比例的。

圖1描述通過常規的非對稱量化而量化的深度神經網絡(DNN)的層的圖示。

圖2描述根據本公開的實施例的通過改進的非對稱量化(Improved AsymmetricQuantization,IAQ)而量化的神經網絡的層的圖示。