[發明專利]一種卷積神經網絡低比特量化方法、系統及介質

在審

• 申請號: 202011552132.7
• 申請日: 2020-12-24
• 公開（公告）號: CN112668714A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 沈付旺
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種卷積神經網絡低比特量化方法，包括通過損失函數以及下降系數訓練激活閾值以及第一權值，通過量化函數和激活閾值計算出特征值；創建權值值域轉換函數，根據所述第一權值計算出轉換值；通過所述量化函數以及所述轉換值計算第二權值，以及所述第二權值的值域；將所述特征值和所述第二權值的值域轉化為整型；進行推理部署，將所述第二權值的值域轉換為第一比特的范圍，并計算卷積得到第一卷積值，將所述第一卷積值進行反量化得到第二卷積值；本發明能夠通過定點訓練得到激活閾值以及權值，將權值轉換為需求的低比特整型數據，并通過對卷積計算過程的變形和改造，使得最終的卷積計算完全符合低比特卷積計算的需求。

技術領域

本發明涉及神經網絡算法領域，特別是涉及一種卷積神經網絡低比特量化方法、系統及介質。

背景技術

AI(Artificial Intelligence人工智能)越來越普遍地存在于我們的日常生活之中，AI算法，AI硬件也成為發展越來越快的領域。AI應用一直面臨的主要問題是計算量大、計算密度高，難以在小型計算設備如手機、小型嵌入式設備等上面部署，且由于計算量大，計算密度高，計算本身的吞吐率很小，很難滿足一些實時性需求較高的應用。

且現有技術的AI計算激活值量化算法是直接將激活(ReLU)之后的激活值限定到[0,1]之間，雖然實際情況下，大部分的激活值都是位于該區間之內，但不可避免地損失了部分數據，對于超低比特比如4比特的量化來說，會有不小的精度損失；并且在實際的實驗中發現，目前的激活值量化算法對于像4比特這樣超低比特的量化來說，精度損失較大，不能滿足對精度的需求，對于權值的量化來說，量化之后，用以表示原來權值的值不連續，值域超過設定比特范圍，在推理部署中需要經過二次轉換方能進行給定比特的計算。

在現有的技術中，只有訓練過程，沒有量化推理的部署過程，只提供了獲取定點量化權值和激活值的方法，并沒有提供如何利用獲得的定點量化權值和激活值進行真正的低比特整型計算的方法。

發明內容

本發明主要解決的是AI應用計算時本身的吞吐率小，很難滿足實時性需求較高的應用，且低比特的激活值量化會損失精度，且量化后的權值的值域超過比特范圍，沒有提供低比特時量化權值和激活值的方法以及沒有量化推理部署過程的問題。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種卷積神經網絡低比特量化方法，包括：

訓練激活閾值以及第一權值，通過量化函數和所述激活閾值計算出特征值；

根據所述第一權值計算出轉換值；

通過所述量化函數以及所述轉換值計算第二權值，以及所述第二權值的值域；

將所述特征值和所述第二權值的值域轉化為整型；

進行推理部署，將所述第二權值的值域轉換為第一比特的范圍，并計算卷積得到第一卷積值，將所述第一卷積值進行反量化得到第二卷積值。

進一步，所述訓練激活閾值以及第一權值的步驟進一步包括：

選擇損失函數和下降系數；根據所述損失函數和所述下降系數得出所述激活閾值和所述第一權值；

通過偏導的傳遞性和直通估計算法并根據激活函數設置所述激活閾值更新條件，當所述激活函數中變量小于所述激活閾值時，不更新所述激活閾值；

當所述激活函數中變量大于所述激活閾值時，更新所述激活閾值。

進一步，所述通過量化函數和所述激活閾值計算出特征值包括以下步驟：

根據所述激活閾值以及所述激活函數，計算得出激活值；

根據所述激活值和所述量化函數計算得出所述特征值。

進一步，將所述特征值和所述第二權值的值域轉化為整型的步驟進一步包括：