[發明專利]一種自動化模型壓縮方法、裝置、設備及存儲介質

在審

• 申請號: 201911016094.0
• 申請日: 2019-10-24
• 公開（公告）號: CN110826692A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 王家興;柏昊立;吳家祥
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/18
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種自動化模型壓縮方法，其特征在于，包括：

確定第一數量的預設分布分量，基于預設的模型參數范圍以及所述第一數量，確定各預設分布分量的統計值；

基于預設模型和各預設分布分量的統計值，構建待訓練模型，所述待訓練模型中的各模型參數服從由所述第一數量的預設分布分量組成的混合分量分布；

獲取訓練樣本，基于所述訓練樣本對所述待訓練模型中的各模型參數進行訓練得到已訓練模型，以及基于所述訓練樣本對所述各預設分布分量的統計值進行訓練，得到各預設分布分量的目標統計值；

基于所述已訓練模型中的各模型參數以及各預設分布分量的目標統計值，從所述第一數量的預設分布分量中確定出目標分布分量；

將所述已訓練模型中的各模型參數分別量化到所述目標分布分量的目標統計值中，得到與各模型參數分別對應的量化參數；

基于各量化參數，生成與所述已訓練模型對應的目標壓縮模型。

2.根據權利要求1所述的一種自動化模型壓縮方法，其特征在于，所述基于預設的模型參數范圍以及所述第一數量，確定各預設分布分量的統計值包括：

基于所述預設的模型參數范圍，生成參數區間；

對所述參數區間進行等分，得到所述第一數量的等分點，其中，所述第一數量的等分點包括所述參數區間的兩個區間端點；

確定每個等分點處的數值，將所述第一數量的等分點處的數值依次確定為所述第一數量的預設分布分量的統計值。

3.根據權利要求1所述的一種自動化模型壓縮方法，其特征在于，所述基于所述預設模型和各預設分布分量的統計值，構建待訓練模型包括：

基于預設的采樣方法，確定各預設分布分量的初始出現概率分布；

遍歷所述預設模型中的各層；

確定當前層中的模型參數的數量；

基于各預設分布分量的初始出現概率分布對各預設分布分量進行采樣，得到對應一個統計值的預設分布分量；

對具有所述統計值的預設分布分量進行采樣，得到一個采樣參數；

重復上述基于各預設分布分量的初始出現概率分布對各預設分布分量進行采樣，得到對應一個統計值的預設分布分量；對具有所述統計值的預設分布分量進行采樣，得到一個采樣參數的步驟，直至得到的采樣參數的數量達到當前層中模型參數的數量；

基于各層中的采樣參數，生成所述待訓練模型。

4.根據權利要求1所述的一種自動化模型壓縮方法，其特征在于，所述基于所述已訓練模型中的各模型參數以及各預設分布分量的目標統計值，從所述第一數量的預設分布分量中確定出目標分布分量包括：

對于所述已訓練模型中的每一層，將當前層中的每個模型參數分別與各預設分布分量的目標統計值進行比較，基于比較結果，確定當前層中每個模型參數所歸屬的預設分布分量；

統計各預設分布分量處的歸屬模型參數的數量；

確定歸屬模型參數的數量大于預設數量的預設分布分量為當前層的所述目標分布分量。

5.根據權利要求4所述的一種自動化模型壓縮方法，其特征在于，所述將當前層中的每個模型參數分別與各預設分布分量的目標統計值進行比較，基于比較結果，確定當前層中每個模型參數所歸屬的預設分布分量包括：

計算當前層中的每個模型參數與各預設分布分量的目標統計值的差值；

確定最小差值所對應的預設分布分量為所述模型參數的歸屬分量。

6.根據權利要求5所述的一種自動化模型壓縮方法，其特征在于，所述將所述已訓練模型中的各模型參數分別量化到所述目標分布分量的統計值中，得到與各模型參數分別對應的量化參數包括：

對于所述已訓練模型中的每一層，確定當前層中每個模型參數所歸屬的目標分布分量的目標統計值為目標量化值；

將所述模型參數量化為所述目標量化值。

7.根據權利要求1所述的一種自動化模型壓縮方法，其特征在于，所述基于各量化參數，生成與所述已訓練模型對應的目標壓縮模型之后還包括：

基于所述訓練樣本，對所述目標壓縮模型進行訓練。