[發明專利]深度神經網絡模型壓縮訓練方法、裝置、設備、介質

在審

• 申請號: 202010269318.5
• 申請日: 2020-04-08
• 公開（公告）號: CN111488985A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 吳慶耀;劉璟;譚明奎
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲

1.一種深度神經網絡模型壓縮訓練方法，其特征在于，包括：

獲取目標訓練數據集；

將所述目標訓練數據集輸入到預先構建的第一深度神經網絡模型和第二深度神經網絡模型，得到第一輸出和第二輸出；

根據所述第一輸出和所述第二輸出構建目標損失函數；

利用所述目標損失函數對所述第一深度神經網絡模型的第一全精度權重參數和所述第二深度神經網絡模型的第二全精度權重參數進行更新；

利用所述第二全精度權重參數更新所述第二深度神經網絡模型的量化權重參數，并在所述目標損失函數滿足預設要求時，將所述第二深度神經網絡模型作為訓練后壓縮神經網絡模型。

2.根據權利要求1所述的深度神經網絡模型壓縮訓練方法，其特征在于，所述利用所述目標訓練數據集對預先構建的第一深度神經網絡模型和第二深度神經網絡模型進行訓練之前，還包括：

構建所述第一深度神經網絡模型和所述第二深度神經網絡模型。

3.根據權利要求2所述的深度神經網絡模型壓縮訓練方法，其特征在于，所述構建所述第一深度神經網絡模型和所述第二深度神經網絡模型，包括：

構建ResNet網絡分別作為所述第一深度神經網絡模型和所述第二深度神經網絡模型；

或，構建PreResNet網絡分別作為所述第一深度神經網絡模型和所述第二深度神經網絡模型。

4.根據權利要求1所述的深度神經網絡模型壓縮訓練方法，其特征在于，將所述目標訓練數據集輸入到預先構建的第一深度神經網絡模型和第二深度神經網絡模型之前，還包括：

對所述目標訓練數據集進行預處理，得到預處理后目標訓練數據集；

相應的，所述將所述目標訓練數據集輸入到預先構建的第一深度神經網絡模型和第二深度神經網絡模型，得到第一輸出和第二輸出，包括：

將所述預處理后目標訓練數據集輸入到預先構建的第一深度神經網絡模型，得到第一輸出；

將所述預處理后目標訓練數據集輸入到預先構建的第二深度神經網絡模型，得到第二輸出。

5.根據權利要求1所述的深度神經網絡模型壓縮訓練方法，其特征在于，所述根據所述第一輸出和所述第二輸出構建目標損失函數，包括：

利用所述第一輸出、所述第二輸出和softmax函數，分別確定第一概率輸出和第二概率輸出；

根據所述第一概率輸出、所述第二概率輸出和第一預設公式，確定輔助損失函數，其中，所述第一預設公式為：

其中，表示第i個樣本的第一概率輸出，表示所述第i個樣本的第二概率輸出，D_KL(P_full,P_low)表示所述輔助損失函數，N表示所述目標訓練數據集中樣本數量；

根據所述輔助損失函數、所述第一深度神經網絡模型的第一交叉熵損失函數、所述第二深度神經網絡模型的第二交叉熵損失函數和第二預設公式，構建所述第一深度神經網絡模型的第一目標損失函數和所述第二深度神經網絡模型的第二目標損失函數，其中，所述第二預設公式為：

其中，L_full表示所述第一深度神經網絡模型的第一目標損失函數，L_low表示所述第二深度神經網絡模型的第二目標損失函數，表示第一深度神經網絡模型的第一交叉熵損失函數，表示第二深度神經網絡模型的第二交叉熵損失函數，β表示預設系數，m表示所述第一深度神經網絡模型或所述第二深度神經網絡模型的分類結果類別數，I{·}表示指示函數，當滿足輸入條件時，輸出1，否則輸出為0，y⁽ⁱ⁾表示第i個樣本的標簽，表示第i個樣本第t個類別的概率。

6.根據權利要求5所述的深度神經網絡模型壓縮訓練方法，其特征在于，所述利用所述目標損失函數對所述第一深度神經網絡模型的第一全精度權重參數和所述第二深度神經網絡模型的第二全精度權重參數進行更新，包括：

利用所述第一目標損失函數和隨機梯度下降算法對所述第一深度神經網絡模型的第一全精度權重參數進行更新；

利用所述第二目標損失函數和隨機梯度下降算法對所述第二深度神經網絡模型的第二全精度權重參數進行更新。