[發明專利]深度神經網絡模型的壓縮方法及裝置、終端、存儲介質

在審

• 申請號: 201710266595.9
• 申請日: 2017-04-21
• 公開（公告）號: CN108734267A
• 公開（公告）日: 2018-11-02
• 發明（設計）人: 趙曉輝;林福輝
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭學秀;吳敏

一種深度神經網絡模型的壓縮方法及裝置、終端、存儲介質，所述方法包括：獲取已訓練的深度神經網絡模型；基于參數在所述深度神經網絡模型中的整體貢獻度，對已訓練的深度神經網絡模型的各層參數進行簡化，得到簡化后的深度神經網絡模型。上述的方案，可以在對深度神經網絡模型壓縮時兼顧深度神經網絡模型的精度及有效性。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種深度神經網絡模型的壓縮方法及裝置、終端、存儲介質。

背景技術

隨著深度神經網絡相關技術研究的迅速發展，相關領域內涌現了大批與深度神經網絡相關的技術，如應用于視覺領域的卷積神經網絡和應用于語音識別或自然語言處理領域的遞歸神經網絡等，這些神經網絡技術均極大地提高了相應領域的處理精度。

深度神經網絡與淺層學習相比，深度神經網絡的開發潛力巨大。通過深度神經網絡模型的多層處理結構可以提取和分析樣本的表征特征，由淺入深地逐層變換和計算樣本特征并計算處理結果。通過對深度神經網絡模型進行增寬增長處理，可以使深度神經網絡模型獲得相對更優的處理結果。

然而，深度神經網絡模型的參數通常在百萬、千萬或上億數量級，因此對計算和存儲設備的要求較高。由于深度神經網絡模型存儲及計算時深度神經網絡模型的參數傳輸等問題，限制了深度神經網絡模型在移動設備上的應用。

目前，通常采用減少深度神經網絡模型的參數、節點數目以及改變多樣性類方法，達到壓縮深度神經網絡模型的目的。雖然，這樣可以對神經網絡模型進行一定的壓縮，然而，壓縮后的深度神經網絡模型的精度及有效性較低。

發明內容

本發明解決的技術問題是在對深度神經網絡模型壓縮時如何兼顧深度神經網絡模型的精度及有效性。

為解決上述技術問題，本發明實施例提供一種深度神經網絡模型的壓縮方法，包括：獲取已訓練的深度神經網絡模型；基于參數在所述深度神經網絡模型中的整體貢獻度，對已訓練的深度神經網絡模型的各層參數進行簡化，得到簡化后的深度神經網絡模型。

可選地，所述基于參數在所述深度神經網絡模型中的整體貢獻度，對已訓練的深度神經網絡模型的各層參數進行簡化，包括：按照從后至前的順序對已訓練的深度神經網絡模型的各層進行遍歷，獲取遍歷到的當前層的保留權重；計算遍歷至的當前層的保留權重的全權連接數值；所述全權連接數值與當前層的參數在所述深度神經網絡中的貢獻度相關聯；將當前層的保留權重的權連接數值與當前層對應的精簡閾值進行比較，并根據比較結果確定當前層的最終保留權重；獲取下一層中與當前層的最終保留權重對應的權重，作為下一層的保留權重，直至所述深度神經網絡模型的所有層遍歷完成。

可選地，當所述深度神經網絡模型為M層時，所述計算遍歷至的當前層的保留權重的全權連接數值，包括：

其中，O_M,n表示第M層的第n個保留權重的全權連接數值，n表示第M層的第n個保留權重，N_m表示第M層保留權重的數量，o_M,n表示第1至第(M-1)層中遍歷到的當前層中第n個保留權重的全權連接數值，n表示第1至第(M-1)層中遍歷到的當前層中的第n個保留權重,K第1至第(M-1)層中遍歷到的當前層中的保留權重的數量。

可選地，所述根據比較結果確定當前層的保留參數，包括：當確定計算得到的全權連接數值小于或等于當前層對應的精簡閾值時，將對應的保留權重刪除；當確定計算得到的全權連接數值大于當前層對應的精簡閾值時，將當前層對應的保留權重保留。

可選地，所述對應的精簡閾值通過以下方式獲取：