[發明專利]人工神經網絡調整方法和裝置

有效

• 申請號: 201810550168.8
• 申請日: 2018-05-31
• 公開（公告）號: CN110555508B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 高梓桁
• 申請（專利權）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

提供了一種調整人工神經網絡(ANN)的方法和裝置。ANN至少包括多個層，所述方法包括：獲取待訓練的神經網絡模型；使用高比特定點量化來對所述神經網絡模型進行訓練，以獲得經訓練的高比特定點量化神經網絡模型；使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型；以及輸出所述經訓練的帶低比特定點量化的神經網絡模型。本發明的位寬逐漸降低的神經網絡訓練方案兼顧神經網絡的訓練及部署，由此能夠在極低位寬的情況下實現可以媲美浮點網絡的計算精度。

技術領域

本發明涉及人工神經網絡(ANN)，例如卷積神經網絡(CNN)，尤其涉及對神經網絡的定點量化。

背景技術

基于人工神經網絡(ANN，Artificial Neural Network)，尤其是卷積神經網絡(CNN，Convolutional Neural Network)的方法在很多應用中都取得了極大的成功。在計算機視覺領域，特別是針對圖像分類問題，CNN的引入使得圖像分類的精度大幅提高。

雖然基于CNN的方法具有先進的性能，但與傳統方法相比需要更多的計算和內存資源。尤其隨著神經網絡的發展，大型神經網絡具有越來越多的層級和數據量，這為神經網絡的部署帶來了巨大的挑戰。盡管大多數基于CNN的方法需要依賴于大型服務器，但近年來，智能移動設備的普及也為神經網絡壓縮帶來了機遇與挑戰，例如許多嵌入式系統也希望具有由CNN方法實現的高精度實時目標識別功能。然而，將多層級和大數據量的CNN用于小型系統必須克服資源有限的問題。

現有CNN系統中多采用32位甚至更高位浮點數數字表示系統，然而在某些情況下，使用低位寬的定點數對神經網絡的數據結果影響不大。鑒于現有CNN參數具備大量冗余的事實，可以通過神經網絡定點化來大幅降低資源使用量。之前已經有工作對神經網絡進行定點化研究。但現有的量化方法通常只考慮部署階段而忽視訓練階段，或者是追求精度而不能很好的克服硬件的限制。

由此，需要一種更為簡便有效的神經網絡定點量化方法。

發明內容

為了解決如上至少一個問題，本發明提出了一種位寬降低的神經網絡調整方案，該方案兼顧神經網絡的訓練及部署，能夠在極低位寬的情況下實現可以媲美浮點網絡的精度。

根據本發明的一個方面，提出了一種調整人工神經網絡(ANN)的方法，其中所述ANN至少包括多個層，所述方法包括：獲取待訓練的神經網絡模型；使用高比特定點量化來對所述神經網絡模型進行訓練，以獲得經訓練的高比特定點量化神經網絡模型；使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型；以及輸出所述經訓練的帶低比特定點量化的神經網絡模型。通過高比特定點訓練的過渡，能夠最終得到易收斂且高精度的低比特定點網絡。

使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型包括：基于預定規則以逐漸降低的比特對所述高比特定點量化神經網絡模型進行迭代微調，優選地，可以逐位降低對初始高比特定點量化神經網絡模型進行微調的定點比特數，直至目標低比特位寬為止，以獲得經訓練的目標低比特定點量化的神經網絡模型。由此進一步提升定點網絡的精度并降低收斂難度。在這其中，初始高比特位寬可以是目標低比特位寬的整數倍，以方便硬件部署與實現。

使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型包括：在使用特定低比特進行微調時，基于預定規則從神經網絡模型的低層到高層逐步降低位寬至所述特定低比特，以獲得經訓練的帶該特定低比特定點量化的神經網絡模型。由此，在逐位微調的基礎上細化為逐層微調，進一步確保定點網絡的正確收斂。

針對定點網絡，可以以低學習率的定點梯度來對所述神經網絡模型進行訓練，所述梯度的定點位寬與所述神經網絡模型的當前定點位寬相同。優選地，高比特定點量化時的學習率要大于低比特定點量化時的學習率，以進一步確保定點網絡的正確收斂。