[發明專利]神經網絡的優化方法、系統、設備及可讀存儲介質

有效

• 申請號: 202010871826.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112001495B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 張鳳賾
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 楊東明;張冉

本發明公開了一種神經網絡的優化方法、系統、設備及可讀存儲介質，所述優化方法包括：選取一神經網絡及一校準數據集；將所述校準數據集中的每個訓練樣本輸入所述神經網絡；獲取所述神經網絡的每個激活層的輸出數據；根據所述輸出數據計算得到與每個激活層對應的最優截斷值；根據所述最優截斷值更新對應的激活層的激活函數；基于更新后的激活函數對所述神經網絡重新訓練。本發明通過對神經網絡的激活函數的輸出進行分析，并對激活函數進行更新，在此基礎上，對原神經網絡進行重新訓練，本申請能夠在網絡設計之時即考慮到網絡結構對量化效果的影響，便如同為量化“量身定做”模型，能夠在現有的量化算法下進一步提升神經網絡的量化精度。

技術領域

本發明屬于神經網絡領域，特別涉及一種神經網絡的優化方法、系統、設備及可讀存儲介質。

背景技術

現今，AI(人工智能)深度學習領域發展很快，學術上研究眾多，也有非常多的企業將AI算法產品化，部署至邊緣設備中(即指AI算法離線運行在設備的芯片，而非云端運算)。邊緣設備為實現低功耗、低延遲的AI計算，往往采用的是低位深定點運算的芯片，而GPU(處理器)端訓練的模型是擁有更高位深的浮點數，而在現有的神經網絡部署中，網絡設計與量化一直都是分開進行的，在網絡設計時并不會考慮某種網絡結構的量化效果如何，這是因為學術界在提出網絡結構時，并不需要實際在邊緣設備上部署，不需要進行量化，而工業界則是直接使用學術界提出的一些網絡結構進行部署，本身并不會做過多的網絡結構設計。因此，如何開發一種優化方法，盡量減少量化所帶來的精度損失，即成為AI算法部署邊緣設備的關鍵。

發明內容

本發明要解決的技術問題是為了克服現有技術中量化帶來的精度損失較大的缺陷，提供一種神經網絡的優化方法、系統、設備及可讀存儲介質。

本發明是通過下述技術方案來解決上述技術問題：

一種神經網絡的優化方法，所述優化方法包括：

選取一神經網絡及一校準數據集；

將所述校準數據集中的每個訓練樣本輸入所述神經網絡；

獲取所述神經網絡的每個激活層的輸出數據；

根據所述輸出數據計算得到與每個激活層對應的最優截斷值；

根據所述最優截斷值更新對應的激活層的激活函數；

基于更新后的激活函數對所述神經網絡重新訓練。

較佳地，所述基于更新后的激活函數對所述神經網絡重新訓練的步驟之后，所述優化方法還包括：

對所述神經網絡進行量化并計算量化損失；

判斷所述量化損失是否在預設閾值范圍內，若否，則將所述校準數據集中的每個訓練樣本輸入重新訓練后的神經網絡，并返回獲取所述神經網絡的每個激活層的輸出數據的步驟。

較佳地，所述根據所述輸出數據計算得到與每個激活層對應的最優截斷值的步驟具體包括：

統計每個激活層的輸出數據得到原始分布直方圖，所述原始分布直方圖包括N個箱；

遍歷截止值，獲取與每個截止值對應的新分布直方圖；所述截止值的范圍為[2^bitdepth，N]，bitdepth為所述神經網絡的目標量化位深度；

計算所述新分布直方圖的概率分布函數與所述原始分布直方圖的概率分布函數的KL散度(相對熵)；

將與最小KL散度對應的截止值作為所述最優截斷值。

較佳地，所述獲取與每個截止值對應的新分布直方圖的步驟具體包括：

對每個截止值，截斷生成一中間概率分布函數，所述中間概率分布函數為包括2^bitdepth個箱的概率分布函數；