[發明專利]壓縮神經網絡模型的方法、計算機系統以及存儲介質

在審

• 申請號: 202110183543.1
• 申請日: 2021-02-08
• 公開（公告）號: CN113286143A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 蔣薇;王煒;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: H04N19/119
• 分類號: H04N19/119;H04N19/124;H04N19/96;G06N3/04;G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 徐文靜;陳世華

1.一種壓縮神經網絡模型的方法，其特征在于，包括：

識別對應于多維張量的至少一個編碼樹單元，所述多維張量與神經網絡相關聯；

確定與所述編碼樹單元相關聯的權重系數集；以及

根據確定的權重系數集壓縮所述神經網絡的模型。

2.根據權利要求1所述的方法，其特征在于，所述確定與所述編碼樹單元相關聯的權重系數集包括：

對權重系數進行量化；以及

選擇使得統一損失值最小化的權重系數子集，所述統一損失值與所述權重系數相關聯。

3.根據權利要求2所述的方法，其特征在于，進一步包括：

反向傳播所述最小化的統一損失值，根據所述反向傳播的最小化的統一損失值來訓練深度神經網絡。

4.根據權利要求2所述的方法，其特征在于，進一步包括：

反向傳播所述最小化的統一損失值，根據所述反向傳播的最小化的統一損失值，將所述權重系數子集中的至少一個權重系數固定為至少一個值。

5.根據權利要求4所述的方法，其特征在于，進一步包括:

確定與所述權重系數集相關聯的梯度和統一掩碼，根據所述梯度和所述統一掩碼，更新所述權重系數子集中的至少一個非固定權重系數。

6.根據權利要求1所述的方法，其特征在于，進一步包括：

通過對權重系數子集進行量化和熵編碼來壓縮所述權重系數集。

7.根據權利要求1所述的方法，其特征在于，所述統一的權重系數集包括具有相同絕對值的至少一個權重系數。

8.一種壓縮神經網絡模型的計算機系統，其特征在于，所述計算機系統包括：

識別模塊，用于識別對應于多維張量的至少一個編碼樹單元，所述多維張量與神經網絡相關聯；

統一模塊，用于確定與所述編碼樹單元相關聯的權重系數集；以及

壓縮模塊，用于根據確定的權重系數集來壓縮所述神經網絡的模型。

9.根據權利要求8所述的計算機系統，其特征在于，所述統一模塊包括：

量化模塊，用于量化所述權重系數；以及

選擇模塊，用于選擇使得統一損失值最小化的權重系數子集，所述統一損失值與所述權重系數相關聯。

10.根據權利要求9所述的計算機系統，其特征在于，進一步包括訓練模塊，所述訓練模塊用于反向傳播所述最小化的統一損失值，根據所述反向傳播的最小化的統一損失值來訓練深層神經網絡。

11.根據權利要求9所述的計算機系統，其特征在于，反向傳播所述最小化的統一損失值，根據所述反向傳播的最小化的統一損失值，將所述權重系數子集中的至少一個權重系數固定為至少一個值。

12.根據權利要求11所述的計算機系統，其特征在于，進一步包括更新模塊，所述更新模塊用于確定與所述權重系數集相關聯的梯度和統一掩碼，根據所述梯度和所述統一掩碼，更新所述權重系數子集中的至少一個非固定權重系數。

13.根據權利要求8所述的計算機系統，其特征在于，進一步包括壓縮模塊，所述壓縮模塊用于通過對所述權重系數子集進行量化和熵編碼來壓縮所述權重系數集。

14.一種非易失性計算機可讀介質，其特征在于，其上存儲有用于壓縮神經網絡模型的計算機程序，所述計算機程序用于使得至少一個計算機處理器執行如權利要求1-7中任一項所述的方法。

15.一種計算設備，其特征在于，包括處理器和存儲器；所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如權利要求1至7中任一項所述的方法。