[發明專利]模型壓縮方法、系統、計算機設備與計算機可讀存儲介質

在審

• 申請號: 202010906612.2
• 申請日: 2020-09-01
• 公開（公告）號: CN112039530A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 王昊;李賢杰;羅水權;劉劍;李燕婷
• 申請（專利權）人: 平安資產管理有限責任公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲

本發明公開了一種模型壓縮方法，包括：獲取第一模型的第一存儲空間值_，所述第一存儲空間值包括第一參數矩陣與第一數據類型；獲取第一存儲值，根據所述第一存儲值設置第二數據類型；基于所述第二數據類型壓縮所述第一存儲空間值，得到第二存儲空間值；根據所述第一參數矩陣、所述第一數據類型與所述第二數據類型構建第三存儲空間值；基于所述第二存儲空間值與所述第三存儲空間值構建第二模型。本發明還提供了一種模型壓縮方系統、計算機設備與存儲介質。本發明實施例的有益效果在于：提高了模型壓縮的精確度。

技術領域

本發明實施例涉及模型構建領域，尤其涉及一種模型壓縮方法、系統、計算機設備與計算機可讀存儲介質。

背景技術

模型壓縮主要應用場景為，將原本只能在帶GPU的服務器具備較大內存的機器上加載運行的高精度大模型，通過一定手段減少體積且精度損失較小，使得模型能夠在配置較差的機器或手機上運行的情況。如原本500M的Bert模型，原本需要在至少1G的GPU服務器上(通常部署在云端)運行才可以給用戶提供服務，如果可以將其壓縮到20M，且精度幾乎沒有損失，則甚至可以部署在手機端使用(目前谷歌的部分輸入法和翻譯模型就通過壓縮可以部署在google lite端)。

目前業界主要采用的壓縮方法主要有：蒸餾，量化，剪枝。幾種方法共同點都是能夠一定程度上減少模型的大小，但都會損失精度。

發明內容

有鑒于此，本發明實施例的目的是提供一種模型壓縮方法、系統、計算機設備與計算機可讀存儲介質，提高了模型壓縮的精確度。

為實現上述目的，本發明實施例提供了一種模型壓縮方法，包括：

獲取第一模型的第一存儲空間值，所述第一存儲空間值包括第一參數矩陣與第一數據類型；

獲取第一存儲值，根據所述第一存儲值設置第二數據類型；

基于所述第二數據類型壓縮所述第一存儲空間值，得到第二存儲空間值；

根據所述第一參數矩陣、所述第一數據類型與所述第二數據類型構建第三存儲空間值；

基于所述第二存儲空間值與所述第三存儲空間值構建第二模型。

進一步地，所述獲取第一模型的第一存儲空間值，所述第一存儲空間值包括第一參數矩陣與第一數據類型之前，包括：

獲取預先在所述第一模型中存儲的多個存儲數據的存儲向量，所述存儲向量包括多個存儲值；

根據所述存儲向量構建第一參數矩陣，每個所述存儲值與所述第一參數矩陣的矩陣元素一一對應；

查詢第一服務器的第二存儲值，根據所述第二存儲值與所述第一參數矩陣確定第一數據類型；

將所述第一參數矩陣的每個存儲值以所述第一數據類型的第一存儲位表示，得到所述第一存儲空間值。

進一步地，所述獲取第一存儲值，根據所述第一存儲值設置第二數據類型包括：

查詢第二服務器的第一存儲值；

根據所述第一存儲值與所述第一參數矩陣設置第二數據類型。

進一步地，所述基于所述第二數據類型壓縮所述第一存儲空間值，得到第二存儲空間值包括：

獲取所述第一存儲空間值的第一存儲值以及所述第一存儲值的第一存儲位；

根據所述第二數據類型的第二存儲位截取所述第一存儲位的第一存儲值，得到第二存儲值；

將所述第二存儲值以所述第二存儲位表示，并重新輸入至所述第一存儲空間值中，得到第二存儲空間值。