[發明專利]神經網絡的剪枝方法、裝置、設備及存儲介質

在審

• 申請號: 202010885640.0
• 申請日: 2020-08-28
• 公開（公告）號: CN112036564A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 梅杰儒;高源;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/06
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

本申請公開了一種神經網絡的剪枝方法、裝置、設備及存儲介質，屬于人工智能的深度學習技術領域。所述方法包括：獲取已訓練完成的神經網絡；根據已訓練完成的神經網絡確定基神經元，基神經元用于重建已訓練完成的神經網絡中的神經元；根據基神經元，確定已訓練完成的神經網絡中的冗余神經元，冗余神經元是指已訓練完成的神經網絡中能夠通過基神經元組合表示的神經元；去除已訓練完成的神經網絡中的冗余神經元，得到剪枝后的神經網絡。本申請實施例實現了準確判斷該神經元的重要性，避免去除重要的神經元導致對深度神經網絡的預測準確性造成較大的影響，確保了深度神經網絡在網絡剪枝過程中的穩定性。

技術領域

本申請實施例涉及人工智能的深度學習技術領域，特別涉及一種神經網絡的剪枝方法、裝置、設備及存儲介質。

背景技術

人工智能(Artificial Intelligence，AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個綜合技術，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。

人工智能技術是一門綜合學科，涉及領域廣泛，既有硬件層面的技術也有軟件層面的技術。人工智能基礎技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理技術、操作/交互系統、機電一體化等技術。人工智能軟件技術主要包括計算機視覺技術、語音處理技術、自然語言處理技術以及機器學習/深度學習等幾大方向。本申請主要涉及深度學習中的深度神經網絡(Deep Neural Networks，DNNs)。

隨著深度神經網絡的研究范圍和研究深度不斷拓展，在諸多領域(如語音識別、機器翻譯、輔助醫療、自動駕駛等)中，深度神經網絡在預測準確性上已經表現出相對于傳統方法的絕對優勢。

深度神經網絡之所以能夠達到較高的預測準確性，是因為深度神經網絡具備高層信息抽取和多層次表達的能力。通常情況下，深度神經網絡的深度與其表達能力呈現一定的相關性，學習深度越深，網絡訓練效果越好，預測準確性越高。然而，從另一方面來講，學習深度越深，網絡參數也就越多，進而，深度神經網絡需要的存儲空間也就越大。基于此，諸多深度神經網絡模型的壓縮技術應運而生，這些技術中包括網絡剪枝。網絡剪枝是指確保較小性能損失的前提下，將復雜神經網絡模型中多余的結構信息或參數信息進行刪除以達到模型壓縮的目的。目前主流的網絡剪枝大多依據神經元的重要性，通過提出一種判斷神經元是否重要的度量標準，進而按照該度量標準判斷各個神經元是否重要，以將不重要的神經元去除。相關技術中，判斷神經元是否重要的度量標準主要是神經元的權重，若某一神經元的權重接近于0，則確定該神經元不重要，進而將該神經元去除。

相關技術中以神經元的權重作為度量標準來進行網絡剪枝，主要依據以下兩個假設：一是范數的標準差足夠大，二是最小的范數接近于0。然而，上述兩個假設在實際的深度神經網絡中并不完全成立，因而相關技術對于神經元是否重要的判斷并不完全準確，極可能出現將重要的神經元去除的情況，深度神經網絡的預測準確性也因此受到較大影響。

發明內容

本申請實施例提供了一種神經網絡的剪枝方法、裝置、設備及存儲介質，可用于準確地判斷該神經元的重要性，避免去除重要的神經元導致對深度神經網絡的預測準確性造成較大的影響，確保了深度神經網絡在網絡剪枝過程中的穩定性。所述技術方案如下：

一方面，本申請實施例提供了一種神經網絡的剪枝方法，所述方法包括：

獲取已訓練完成的神經網絡；

根據所述已訓練完成的神經網絡確定基神經元，所述基神經元用于重建所述已訓練完成的神經網絡中的神經元；