[發明專利]人工神經網絡調整方法和裝置

有效

• 申請號: 201810402123.6
• 申請日: 2018-04-28
• 公開（公告）號: CN110413255B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 盛驍;江帆;羅洪
• 申請（專利權）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06F7/575
• 分類號: G06F7/575;G06N3/063
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

提供了一種調整人工神經網絡(ANN)的方法和裝置。ANN至少包括多個層，所述方法包括：獲取經訓練的浮點神經網絡模型；對所述浮點神經網絡模型進行定點量化；以及輸出經定點量化的定點神經網絡模型。本發明的直接定點方案不涉及模型訓練，無需標注數據集也不涉及反向操作，因此能夠便捷快速且低成本高精度地實現對神經網絡的壓縮和優化。

技術領域

本發明涉及人工神經網絡(ANN)，例如卷積神經網絡(CNN)，尤其涉及對神經網絡的定點量化。

背景技術

基于人工神經網絡(ANN，Artificial Neural Network)，尤其是卷積神經網絡(CNN，Convolutional Neural Network)的方法在很多應用中都取得了極大的成功。在計算機視覺領域，特別是針對圖像分類問題，CNN的引入使得圖像分類的精度大幅提高。

雖然基于CNN的方法具有先進的性能，但與傳統方法相比需要更多的計算和內存資源。尤其隨著神經網絡的發展，大型神經網絡具有越來越多的層級和數據量，這為神經網絡的部署帶來了巨大的挑戰。盡管大多數基于CNN的方法需要依賴于大型服務器，但近年來，智能移動設備的普及也為神經網絡壓縮帶來了機遇與挑戰，例如許多嵌入式系統也希望具有由CNN方法實現的高精度實時目標識別功能。然而，將多層級和大數據量的CNN用于小型系統必須克服資源有限的問題。

現有CNN系統中多采用32位甚至更高位浮點數數字表示系統，然而在某些情況下，使用低位寬的定點數對神經網絡的數據結果影響不大。鑒于現有CNN參數具備大量冗余的事實，可以通過神經網絡定點化來大幅降低資源使用量。之前已經有工作對神經網絡進行定點化研究。

本申請的申請人業已提出了針對CNN的逐層變精度定點化方案。上述方案需要直接從初始隨機參數開始逐層訓練，不僅耗時費力，還會面臨因定點過后精度會下降，在網絡層數變深或者網絡設計用來解決回歸問題的情況下，網絡性能嚴重退化等問題。

由此，需要一種更為簡便有效的神經網絡定點量化方法。

發明內容

為了解決如上至少一個問題，本發明提出了一種直接定點方案，不涉及模型訓練，無需標注數據集也不涉及反向操作，因此能夠便捷快速且低成本高精度地實現對神經網絡的壓縮和優化。

根據本發明的一個方面，提出了一種調整人工神經網絡(ANN)的方法，其中所述ANN至少包括多個層，所述方法包括：獲取經訓練的浮點神經網絡模型；對所述浮點神經網絡模型進行定點量化；以及輸出經定點量化的定點神經網絡模型。

由此，通過直接對已經訓練完畢的浮點神經網絡模型進行定點量化，能夠便捷快速地實現神經網絡的定點加速。

對所述浮點神經網絡模型進行定點量化可以包括對所述浮點神經網絡模型多個層的權重參數進行定點量化。優選地，可以對所述浮點神經網絡模型中每個帶權重的層的權重分別進行定點量化。由此通過將權重從高位寬浮點值量化為低位寬定點值，大幅降低了神經網絡模型的體積。

一方面，對所述浮點神經網絡模型進行定點量化還可以包括：確定針對所述浮點神經網絡模型中多個層輸出的激活值的定點量化規則。具體地，激活值定點量化可以包括：將所述浮點神經網絡模型中的浮點權重參數替換為定點權重參數；向權重參數定點的神經網絡模型中輸入包括多個測試圖的校準數據集；以及根據每個測試圖在每一層輸出的激活值確定針對該層輸出的激活值的定點量化規則。優選地，確定針對所述浮點神經網絡模型中多個層輸出的激活值的定點量化規則還包括：對每個測試圖在每一層輸出的激活值進行定點量化，以將經定點量化的激活值輸入下一層。由此，通過將激活值的數值范圍進行定點量化，可以在推理運算時方便地將激活值量化為定點值，以便將浮點運算轉換為定點運算，大幅提升推理預測的速度。

可以根據具體情況，選擇校準數據集中出現最多的激活值數值范圍、平均值或中位數等來確定每一層輸出的激活值數值范圍的定點量化。