[發明專利]模型壓縮方法及裝置

在審

• 申請號: 202110673860.1
• 申請日: 2021-06-17
• 公開（公告）號: CN113408724A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 孫強;陳瑞俠;孫強;劉恩甫;劉勝
• 申請（專利權）人: 博眾精工科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種模型壓縮方法及裝置，該方法包括：獲取待壓縮網絡模型以及目標壓縮比；根據所述目標壓縮比確定節點壓縮方式，并且基于所述節點壓縮方式以及所述目標壓縮比對所述待壓縮網絡模型進行壓縮，得到待賦值網絡模型；根據所述待壓縮網絡模型以及所述待賦值網絡模型，確定與所述待賦值網絡模型中各待賦值節點對應的權重值；基于各權重值以及所述待賦值網絡模型，確定目標壓縮網絡模型。通過本發明實施例的技術方案，實現了對深度學習模型的壓縮，節約模型占用資源的技術效果。

技術領域

本發明實施例涉及數據處理技術，尤其涉及一種模型壓縮方法及裝置。

背景技術

隨著深度學習的普及，在計算機視覺，語音識別，自然語言處理等領域中各種深度學習模型都得到了廣泛的應用。

但是，由于深度學習模型的網絡規模越來越大，模型越來越復雜，深度學習模型的存儲就會占用較大的空間，在進行運算時，耗費的計算資源過大，時間過長。并且，移植和部署這些深度學習模型時也會存在速度過慢，甚至無法移植和部署的情況。

目前，模型壓縮往往存在定制化的現象，沒有一個統一的通用化的壓縮算法，可以覆蓋視覺，語音，編碼器等諸多領域，使算法開發和模型壓縮互不干擾。

發明內容

本發明實施例提供了一種模型壓縮方法及裝置，以實現對深度學習模型的壓縮，節約模型占用資源的技術效果。

第一方面，本發明實施例提供了一種模型壓縮方法，該方法包括：

獲取待壓縮網絡模型以及目標壓縮比；

根據所述目標壓縮比確定節點壓縮方式，并且基于所述節點壓縮方式以及所述目標壓縮比對所述待壓縮網絡模型進行壓縮，得到待賦值網絡模型；

根據所述待壓縮網絡模型以及所述待賦值網絡模型，確定與所述待賦值網絡模型中各待賦值節點對應的權重值；

基于各權重值以及所述待賦值網絡模型，確定目標壓縮網絡模型。

第二方面，本發明實施例還提供了一種模型壓縮裝置，該裝置包括：

待壓縮網絡模型模型獲取模塊，用于獲取待壓縮網絡模型以及目標壓縮比；

待賦值網絡模型確定模塊，用于根據所述目標壓縮比確定節點壓縮方式，并且基于所述節點壓縮方式以及所述目標壓縮比對所述待壓縮網絡模型進行壓縮，得到待賦值網絡模型；

權重值確定模塊，用于根據所述待壓縮網絡模型以及所述待賦值網絡模型，確定與所述待賦值網絡模型中各待賦值節點對應的權重值；

目標壓縮網絡模型確定模塊，用于基于各權重值以及所述待賦值網絡模型，確定目標壓縮網絡模型。

第三方面，本發明實施例還提供了一種電子設備，所述電子設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明實施例任一所述的模型壓縮方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明實施例任一所述的模型壓縮方法。