[發明專利]神經網絡模型的訓練方法、存儲介質及電子設備

在審

• 申請號: 202110251322.3
• 申請日: 2021-03-08
• 公開（公告）號: CN113723161A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 康洋
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 江舟

1.一種神經網絡模型的訓練方法，其特征在于，包括：

獲取第一數據類型的第一輸入數值，其中，所述第一輸入數值被設置為待訓練的神經網絡模型中的目標操作的輸入數值，所述第一數據類型的所述第一輸入數值占的比特數為第一比特數；

對所述第一輸入數值執行量化操作，得到第二數據類型的第二輸入數值，其中，所述第二數據類型的所述第二輸入數值占的比特數為第二比特數，所述第二比特數小于所述第一比特數；

對所述第二輸入數值執行所述目標操作，得到所述第二數據類型的第一輸出數值，所述第二數據類型的所述第一輸出數值占的比特數為所述第二比特數；

對所述第一輸出數值執行反量化操作，得到所述第一數據類型的第二輸出數值，所述第一數據類型的所述第二輸出數值占的比特數為所述第一比特數；

根據所述第二輸出數值，對所述神經網絡模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述對所述第一輸入數值執行量化操作，得到第二數據類型的第二輸入數值，包括：

根據所述第二數據類型對應的最大取值和最小取值、以及所述第一輸入數值的最大取值和最小取值，確定所述量化操作所使用的目標量化參數；

使用所述目標量化參數對所述第一輸入數值執行量化操作，得到所述第二數據類型的所述第二輸入數值。

3.根據權利要求2所述的方法，其特征在于，根據所述第二數據類型對應的最大取值和最小取值、以及所述第一輸入數值的最大取值和最小取值，確定所述量化操作所使用的目標量化參數，包括：

在所述第二數據類型對應的最大取值的絕對值與最小取值的絕對值相同的情況下，根據所述第二數據類型對應的最大取值和最小取值、以及所述第一輸入數值的最大取值和最小取值，確定所述量化操作所使用的第一量化參數，其中，所述目標量化參數包括所述第一量化參數；

在所述第二數據類型對應的最大取值的絕對值與最小取值的絕對值不同的情況下，根據所述第二數據類型對應的最大取值和最小取值、以及所述第一輸入數值的最大取值和最小取值，確定所述量化操作所使用的第二量化參數，其中，所述目標量化參數包括所述第二量化參數，所述第一量化參數與所述第二量化參數不同。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括以下至少之一：

在所述目標操作包括所述神經網絡模型中的卷積層上執行的卷積函數的情況下，將所述第二數據類型對應的最大取值的絕對值與最小取值的絕對值設置為相同；

在所述目標操作包括所述神經網絡模型中的全連接層上執行的權重函數的情況下，將所述第二數據類型對應的最大取值的絕對值與最小取值的絕對值設置為相同；

在所述目標操作包括所述神經網絡模型中的激活函數的情況下，將所述第二數據類型對應的最大取值的絕對值與最小取值的絕對值設置為不同。

5.根據權利要求2所述的方法，其特征在于，所述根據所述第二數據類型對應的最大取值和最小取值、以及所述第一輸入數值的最大取值和最小取值，確定所述量化操作所使用的目標量化參數，包括：

通過如下公式確定所述目標量化參數：

zero_point＝0

其中，所述目標量化參數包括所述scale和所述zero_point，所述min_val表示所述第一輸入數值的最小取值，所述max_val表示所述第一輸入數值的最大取值，所述qmax表示所述第二數據類型對應的最大取值，qmin表示所述第二數據類型對應的最小取值。

6.根據權利要求2所述的方法，其特征在于，所述根據所述第二數據類型對應的最大取值和最小取值、以及所述第一輸入數值的最大取值和最小取值，確定所述量化操作所使用的目標量化參數，包括：

通過如下公式確定所述目標量化參數：

其中，所述目標量化參數包括所述scale和所述zero_point，所述min_val表示所述第一輸入數值的最小取值，所述max_val表示所述第一輸入數值的最大取值，所述qmax表示所述第二數據類型對應的最大取值，所述qmin表示所述第二數據類型對應的最小取值，round函數用于對進行四舍五入計算。