[發明專利]一種自動化模型壓縮方法、裝置、設備及存儲介質

在審

• 申請號: 201911016094.0
• 申請日: 2019-10-24
• 公開（公告）號: CN110826692A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 王家興;柏昊立;吳家祥
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/18
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本申請涉及一種自動化模型壓縮方法、裝置、設備及存儲介質，所述方法包括：確定第一數量的預設分布分量，基于預設的模型參數范圍以及所述第一數量，確定各預設分布分量的統計值；基于預設模型和各預設分布分量的統計值，構建待訓練模型；獲取訓練樣本，基于所述訓練樣本對所述待訓練模型進行訓練得到訓練結果；基于訓練結果確定出目標分布分量；將已訓練模型中的各模型參數分別量化到所述目標分布分量的目標統計值中，得到與各模型參數分別對應的量化參數；基于各量化參數，生成與所述已訓練模型對應的目標壓縮模型。采用本申請縮短了模型壓縮過程的耗時，減少了模型壓縮過程中的計算量，從而提高了模型壓縮的效率。

技術領域

本申請涉及神經網絡技術領域，尤其涉及一種自動化模型壓縮方法、裝置、設備及存儲介質。

背景技術

神經網絡模型使得很多人工智能任務的性能達到了一個前所未有的高度，不過，復雜的模型固然具有更好的性能，但是高額的存儲空間、計算資源消耗是使其難以有效地應用在各硬件平臺的重要原因。為了解決這些問題，現有技術中提出了一些通過對模型進行壓縮的技術方案，通過對模型進行壓縮能夠有效降低參數冗余，從而減少存儲占用、通信帶寬和計算復雜度，有助于深度學習的應用部署。

但是，現有技術中提出的關于模型壓縮的技術方案中，有的是需要依賴于人工經驗來選取神經網絡模型逐層的壓縮策略，耗時又耗力；有的是基于強化學習的自動化模型壓縮方法，其訓練過程耗時長，且計算量較大。因此需要提供一種耗時短、效率高的模型壓縮方法。

發明內容

本申請所要解決的技術問題在于，提供一種自動化模型壓縮方法、裝置、設備及存儲介質，能夠基于訓練樣本對已構建的模型進行訓練，經過訓練之后即可自動確定相應的逐層壓縮策略，縮短了模型壓縮過程的耗時，減少了模型壓縮過程中的計算量，從而提高了模型壓縮的效率。

為了解決上述技術問題，一方面，本申請提供了一種自動化模型壓縮方法，所述方法包括：

確定第一數量的預設分布分量，基于預設的模型參數范圍以及所述第一數量，確定各預設分布分量的統計值；

基于預設模型和各預設分布分量的統計值，構建待訓練模型，所述待訓練模型中的各模型參數服從由所述第一數量的預設分布分量組成的混合分量分布；

獲取訓練樣本，基于所述訓練樣本對所述待訓練模型中的各模型參數進行訓練得到已訓練模型，以及基于所述訓練樣本對所述各預設分布分量的統計值進行訓練，得到各預設分布分量的目標統計值；

基于所述已訓練模型中的各模型參數以及各預設分布分量的目標統計值，從所述第一數量的預設分布分量中確定出目標分布分量；

將所述已訓練模型中的各模型參數分別量化到所述目標分布分量的目標統計值中，得到與各模型參數分別對應的量化參數；

基于各量化參數，生成與所述已訓練模型對應的目標壓縮模型。

另一方面，本申請提供了一種自動化模型壓縮裝置，所述裝置包括：

統計值確定模塊，用于確定第一數量的預設分布分量，基于預設的模型參數范圍以及所述第一數量，確定各預設分布分量的統計值；

待訓練模型構建模塊，用于基于預設模型和各預設分布分量的統計值，構建待訓練模型，所述待訓練模型中的各模型參數服從由所述第一數量的預設分布分量組成的混合分布；

模型訓練模塊，用于獲取訓練樣本，基于所述訓練樣本對所述待訓練模型中的各模型參數進行訓練得到已訓練模型，以及基于所述訓練樣本對所述各預設分布分量的統計值進行訓練，得到各預設分布分量的目標統計值；

目標分布分量確定模塊，用于基于所述已訓練模型中的各模型參數以及各預設分布分量的目標統計值，從所述第一數量的預設分布分量中確定出目標分布分量；