[發明專利]壓縮神經網絡模型的方法、計算機系統以及存儲介質

在審

• 申請號: 202011448780.8
• 申請日: 2020-12-09
• 公開（公告）號: CN113052309A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 蔣薇;王煒;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 徐文靜;陳世華

1.一種壓縮神經網絡模型的方法，其特征在于，包括：

對與權重系數集對應的多維張量進行重塑，所述權重系數集與神經網絡相關聯；

從所述權重系數集中識別權重系數子集；以及

根據識別的權重系數子集，壓縮所述神經網絡的模型。

2.根據權利要求1所述的方法，其特征在于，所述從所述權重系數集中識別所述權重系數子集包括：

對所述權重系數集進行量化；以及

選擇使得可量化性正則化損失值最小化的權重系數子集，所述可量化性正則化損失值與數據損失值和量化損失值相對應，所述數據損失值和所述量化損失值與量化的權重系數集相關聯。

3.根據權利要求2所述的方法，其特征在于，進一步包括反向傳播所述最小化的可量化性正則化損失值，根據反向傳播的所述最小化的可量化性正則化損失值來訓練所述神經網絡。

4.根據權利要求2所述的方法，其特征在于，反向傳播所述最小化的可量化性正則化損失值，根據反向傳播的所述最小化的可量化性正則化損失值，將所述權重系數子集中的至少一個權重系數固定。

5.根據權利要求4所述的方法，其特征在于，進一步包括確定與所述權重系數子集相關聯的梯度和量化掩碼，根據確定的所述梯度和所述量化掩碼，更新所述權重系數子集中的至少一個非固定權重系數。

6.根據權利要求1所述的方法，其特征在于，進一步包括通過對所述權重系數子集進行量化和熵編解碼來壓縮所述權重系數子集。

7.根據權利要求1所述的方法，其特征在于，對所述神經網絡的每個層分開進行壓縮。

8.一種壓縮神經網絡模型的計算機系統，其特征在于，所述計算機系統包括：

重塑模塊，用于對與權重系數集對應的多維張量進行重塑，所述權重系數集與神經網絡相關聯；

識別模塊，用于從所述權重系數集中識別權重系數子集；以及

壓縮模塊，用于根據識別的權重系數子集，壓縮所述神經網絡的模型。

9.根據權利要求8所述的計算機系統，其特征在于，識別所述權重系數子集包括：

量化模塊，用于對所述權重系數集進行量化；以及

選擇代碼，用于選擇使得可量化性正則化損失值最小化的權重系數子集，所述可量化性正則化損失值與數據損失值和量化損失值相對應，所述數據損失值和所述量化損失值與量化的權重系數集相關聯。

10.根據權利要求9所述的計算機系統，其特征在于，進一步包括訓練模塊，所述訓練模塊用于反向傳播所述最小化的可量化性正則化損失值，根據反向傳播的所述最小化的可量化性正則化損失值來訓練所述神經網絡。

11.根據權利要求9所述的計算機系統，其特征在于，反向傳播所述最小化的可量化性正則化損失值，根據反向傳播的所述最小化的可量化性正則化損失值，將所述權重系數子集中的至少一個權重系數固定。

12.根據權利要求11所述的計算機系統，其特征在于，進一步包括更新模塊，所述更新模塊用于確定與所述權重系數子集相關聯的梯度和量化掩碼，根據確定的所述梯度和所述量化掩碼，更新所述權重系數子集中的至少一個非固定權重系數。

13.根據權利要求8所述的計算機系統，其特征在于，進一步包括壓縮模塊，所述壓縮模塊用于通過對所述權重系數子集進行量化和熵編解碼來壓縮所述權重系數子集。

14.一種易失性計算機可讀介質，其特征在于，其上存儲有壓縮神經網絡模型的計算機程序，所述計算機程序用于使得至少一個計算機處理器執行如權利要求1-7中任一項所述的方法。

15.一種服務器計算機，其特征在于，包括處理器和存儲器；所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如權利要求1至7中任一項所述的方法。