[發明專利]深度神經網絡模型的壓縮方法及裝置、終端、存儲介質

在審

• 申請號: 201710265877.7
• 申請日: 2017-04-21
• 公開（公告）號: CN108734265A
• 公開（公告）日: 2018-11-02
• 發明（設計）人: 林福輝;趙曉輝
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭學秀;吳敏

一種深度神經網絡模型的壓縮方法及裝置、終端、存儲介質，所述深度神經網絡模型的壓縮方法包括：獲取已訓練的深度神經網絡模型；基于所獲取的所述深度神經網絡模型中精簡單元的貢獻度的信息，對所述深度神經網絡模型進行精簡，直至精簡后的深度神經網絡模型滿足預設的精度需求。上述的方案，可以在對深度神經網絡模型壓縮時兼顧深度神經網絡模型的精度及有效性。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種深度神經網絡模型的壓縮方法及裝置、終端、存儲介質。

背景技術

隨著深度神經網絡相關技術研究的迅速發展，相關領域內涌現了大批與深度神經網絡相關的技術，如應用于視覺領域的卷積神經網絡和應用于語音識別或自然語言處理領域的遞歸神經網絡等，這些神經網絡技術均極大地提高了相應領域的處理精度。

深度神經網絡與淺層學習相比，深度神經網絡的開發潛力巨大。通過深度神經網絡模型的多層處理結構可以提取和分析樣本的表征特征，由淺入深地逐層變換和計算樣本特征并計算處理結果。通過對深度神經網絡模型進行增寬增長處理，可以使深度神經網絡模型獲得相對更優的處理結果。

然而，深度神經網絡模型的參數通常在百萬、千萬或上億數量級，因此對計算和存儲設備的要求較高。由于深度神經網絡模型存儲及計算時深度神經網絡模型的參數傳輸等問題，限制了深度神經網絡模型在移動設備上的應用。

目前，通常采用減少深度神經網絡模型的參數、節點數目以及改變多樣性類方法，達到壓縮深度神經網絡模型的目的。雖然，這樣可以對神經網絡模型進行一定的壓縮，然而，精簡后的深度神經網絡模型的精度及有效性較低。

發明內容

本發明解決的技術問題是在對深度神經網絡模型壓縮時如何兼顧深度神經網絡模型的精度及有效性。

為解決上述技術問題，本發明實施例提供一種深度神經網絡模型的壓縮方法，包括：獲取已訓練的深度神經網絡模型；基于所獲取的所述深度神經網絡模型中精簡單元的貢獻度的信息，對所述深度神經網絡模型進行精簡，直至精簡后的深度神經網絡模型滿足預設的精度需求。

可選地，所述基于所獲取的所述深度神經網絡模型中精簡單元的貢獻度的信息，對所述深度神經網絡模型進行精簡，包括：采用驗證集樣本對當前次精簡前的深度神經網絡模型進行測試，得到當前次精簡前的深度神經網絡模型中各個精簡單元刪除前后對應的深度神經網絡模型的精度改變數值；將當前次精簡前的深度神經網絡模型中所有精簡單元按照精度改變數值進行排序；從當前次精簡前的深度神經網絡模型中刪除預設數量的精度改變數值最小的精簡單元，得到當前次精簡后的深度神經網絡模型；判斷當前次精簡后的深度神經網絡模型是否滿足所述精度需求；當確定當前次精簡后的深度神經網絡模型滿足所述精度需求時，停止精簡操作；當確定所述當前次精簡后的深度神經網絡模型不滿足所述精度需求時，對當前次精簡后的深度神經網絡模型執行下一次精簡操作，直至精簡后的深度神經網絡模型滿足所述精度需求。

可選地，所述采用驗證集樣本對當前次精簡前的深度神經網絡模型進行測試，得到當前次精簡前的深度神經網絡模型中各個精簡單元刪除前后對應的深度神經網絡模型的精度改變數值，包括：S_m,n＝||c^(t)||_f-||c^(t)'||_f；且f＝{1,2}；其中，S_m,n為第t次精簡前的深度神經網絡模型中第m層的第n個精簡單元刪除前后對應的精度改變數值，為第t次精簡深度神經網絡模型前的精度，為第t次壓縮深度神經網絡模型前的精度，f分別對應L1范數和L2范數，1指代L1范數，2指代L2范數。