[發明專利]神經網絡模型訓練方法、分類方法、裝置和電子設備

在審

• 申請號: 201811237860.1
• 申請日: 2018-10-23
• 公開（公告）號: CN111091175A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 趙元;辛穎;沈海峰
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京超成律師事務所 11646
• 代理人: 鄧超

1.一種神經網絡模型訓練方法，其特征在于，所述方法包括：

獲取當前應用場景對應的神經網絡初始模型和所述當前應用場景對應的實際樣本集；其中，所述神經網絡初始模型的至少一個網絡層包含有多個激活函數；

通過所述實際樣本集訓練所述神經網絡初始模型，以從所述至少一個網絡層包含的多個激活函數中確定最優激活函數；

將確定出所述最優激活函數的神經網絡初始模型，作為所述當前應用場景的神經網絡模型。

2.如權利要求1所述的方法，其特征在于，所述獲取當前應用場景對應的神經網絡初始模型的步驟，包括：

從第三方數據集訓練過的神經網絡模型中選擇當前應用場景對應的第一網絡模型；

將所述第一網絡模型的網絡權重遷移至所述當前應用場景對應的第二網絡模型，得到所述當前應用場景對應的神經網絡初始模型；其中，所述第二網絡模型的至少一個網絡層包含有多個激活函數，所述第二網絡模型的全連接層和輸出層與所述當前應用場景的任務需求匹配。

3.如權利要求2所述的方法，其特征在于，將所述第一網絡模型的網絡權重遷移至所述當前應用場景對應的第二網絡模型的步驟，包括：

將所述第一網絡模型的卷積層的網絡權重遷移至所述當前應用場景對應的第二網絡模型的卷積層；

將所述第一網絡模型的池化層的網絡權重遷移至所述當前應用場景對應的第二網絡模型的池化層。

4.如權利要求1所述的方法，其特征在于，通過所述實際樣本集訓練所述神經網絡初始模型的步驟，包括：

從所述實際樣本集選擇當前樣本；

將當前樣本輸入所述神經網絡初始模型；

如果當前卷積層配置有多個激活函數，使用所述當前卷積層輸出的特征向量對所述多個激活函數中的每個激活函數進行訓練，得到每個所述激活函數對應的損失值；

將最小損失值對應的所述激活函數作為所述卷積層的最優激活函數。

5.如權利要求4所述的方法，其特征在于，使用所述當前卷積層輸出的特征向量對所述多個激活函數中的每個激活函數進行訓練的步驟，包括：

逐一選擇每個所述激活函數作為所述當前卷積層的激活函數；

將所述特征向量輸入所述激活函數，將每個所述激活函數的輸出值輸入至下一個網絡層，直至得到所述神經網絡初始模型的輸出結果；

根據所述輸出結果計算所述激活函數對應的損失值。

6.如權利要求4所述的方法，其特征在于，每個所述激活函數訓練過程中，維持所述神經網絡初始模型的參數不變。

7.如權利要求1所述的方法，其特征在于，通過所述實際樣本集訓練所述神經網絡初始模型的步驟，包括：

當所述神經網絡初始模型的各個網絡層的最優激活函數確定后，根據所述實際樣本集對所述神經網絡初始模型進行調優訓練。

8.如權利要求7所述的方法，其特征在于，根據所述實際樣本集對所述神經網絡初始模型進行調優訓練的步驟，包括：

將所述實際樣本集中的樣本輸入所述神經網絡初始模型；

根據所述神經網絡初始模型的輸出結果計算當前的損失值；

根據當前的損失值調整所述神經網絡初始模型的參數，繼續下一輪的樣本訓練，直到當前的損失值小于設定的閾值停止訓練。

9.如權利要求1所述的方法，其特征在于，所述多個激活函數中各個函數的函數類型不同，和/或，所述多個激活函數中存在相同函數類型的函數，且所述相同函數類型的函數的參數不同。

10.如權利要求9所述的方法，其特征在于，所述函數類型包括：tanh函數、sigmoid函數、Relu函數和softmax函數。

11.如權利要求1所述的方法，其特征在于，所述神經網絡初始模型為卷積神經網絡模型或深度神經網絡模型。