[發明專利]訓練神經網絡及圖像識別的方法、裝置、設備及介質

在審

• 申請號: 202010443246.1
• 申請日: 2020-05-22
• 公開（公告）號: CN111598182A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 于志鵬;吳一超;梁鼎;郭秋杉
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

本申請實施例提供一種訓練神經網絡及圖像識別的方法、裝置、設備及介質。該方法包括：獲取圖像樣本數據集，該圖像樣本數據集包括至少一個圖像樣本數據；將圖像樣本數據集分別輸入多個神經網絡，得到多個神經網絡中每個神經網絡輸出的第一預測結果；基于多個第一預測結果，確定多個神經網絡在本輪迭代訓練的損失函數；基于損失函數，調整多個神經網絡的網絡參數。

技術領域

本申請實施例涉及人工智能技術領域，尤其涉及一種訓練神經網絡及圖像識別的方法、裝置、設備及介質。

背景技術

知識蒸餾是一種通過預先訓練好一個教師模型(teacher模型)，然后使用teacher模型的輸出和訓練數據的真實標簽得到一個損失函數，再基于這個損失函數去訓練學生模型(student模型)，使得student模型的結果接近teacher模型的輸出結果。

在上述學習過程中，常常需要額外訓練一個教師模型，并且學生模型的訓練效果非常依賴教師模型的優劣。另外，目前知識蒸餾的流程較長，需要多階段的訓練，非常耗費資源。

發明內容

本申請實施例提供一種訓練神經網絡及圖像識別的方法、裝置、設備及介質，以簡化訓練流程，提高神經網絡的性能。

第一方面，本申請實施例提供一種訓練神經網絡的方法，包括：獲取圖像樣本數據集，所述圖像樣本數據集包括至少一個圖像樣本數據；將所述圖像樣本數據集分別輸入多個神經網絡，得到所述多個神經網絡中每個神經網絡輸出的第一預測結果；基于多個第一預測結果，確定所述多個神經網絡在本輪迭代訓練的損失函數；基于所述損失函數，調整所述多個神經網絡的網絡參數。

可選的，所述基于多個第一預測結果，確定所述多個神經網絡在本輪迭代訓練的損失函數，包括：分別確定所述每個神經網絡對應的第一損失函數，以及確定第二損失函數；基于多個所述第一損失函數和所述第二損失函數，確定所述多個神經網絡在本輪迭代訓練的損失函數。

可選的，所述分別確定所述每個神經網絡對應的第一損失函數，以及確定第二損失函數，包括：基于每個第一預測結果和所述圖像樣本數據集的標簽，確定所述每個神經網絡的第一損失函數；基于所述多個第一預測結果，確定第二預測結果；基于所述第二預測結果和所述圖像樣本數據集的標簽，確定所述第二損失函數。

可選的，所述基于所述多個第一預測結果，確定第二預測結果，包括：將所述多個神經網絡的第一損失函數中最小損失函數對應的第一預測結果，確定為所述第二預測結果。

可選的，所述基于所述多個第一預測結果，確定第二預測結果，包括：確定每個第一預測結果的權重；基于所述權重和對應的第一預測結果，得到所述多個第一預測結果的加權和，并將所述加權和確定為所述第二預測結果；其中，所述權重為所述第二損失函數取最小值時的權重。

可選的，所述第一預測結果包括多個分類結果；所述基于所述多個第一預測結果，確定第二預測結果，包括：獲取所述多個神經網絡的第一預測結果中每個分類結果的最小值；根據所述每個分類結果的最小值，得到所述第二預測結果。

可選的，所述基于所述多個第一預測結果，確定第二預測結果，包括：獲取驗證圖像數據集，所述驗證圖像數據集包括至少一個驗證圖像數據；基于所述驗證圖像數據集，確定所述每個神經網絡的性能參數；基于所述性能參數，確定所述每個神經網絡的權重，所述性能參數的取值和所述權重的取值呈正相關；基于所述權重和對應的第一預測結果，得到所述多個第一預測結果的加權和，并將所述加權和確定為所述第二預測結果。

可選的，輸入所述多個神經網絡中至少兩個神經網絡的至少部分圖像樣本數據不同。