[發明專利]深度學習模型訓練方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202011531212.4
• 申請日: 2020-12-22
• 公開（公告）號: CN112508126B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 趙雪鵬;聶磊;鄒建法
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06N20/20
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;臧建明

1.一種深度學習模型訓練方法，包括：

獲取訓練樣本集中的樣本塊，所述樣本塊包含預設數量、類別相同的圖像樣本，所述訓練樣本集中的圖像樣本包括誤判樣本和基礎樣本，所述基礎樣本是訓練深度學習模型時使用的圖像樣本，所述誤判樣本是所述深度學習模型無法正確識別的圖像樣本，所述基礎樣本的數量和所述誤判樣本的數量的差值小于預設閾值；

對于包含基礎樣本的樣本塊，采用蒸餾訓練方法訓練所述深度學習模型；

對于包含誤判樣本的樣本塊，采用深度學習方法訓練所述深度學習模型，所述蒸餾訓練方法和所述深度學習方法的模型訓練參數相同；

所述對于包含基礎樣本的樣本塊，采用蒸餾訓練方法訓練所述深度學習模型，包括：

將所述樣本塊輸入至所述深度學習模型和教師模型，所述教師模型是未訓練的所述深度學習模型；

根據所述教師模型對所述樣本塊的學習，監督所述深度學習模型對所述樣本塊的學習，調整所述深度學習模型的參數以訓練所述深度學習模型，所述教師模型的參數不更新。

2.根據權利要求1所述的方法，其中所述對于包含誤判樣本的樣本塊，采用深度學習方法訓練所述深度學習模型，包括：

將所述樣本塊輸入至所述深度學習模型；

學習所述樣本塊，調整所述深度學習模型的參數以訓練所述深度學習模型。

3.根據權利要求1或2所述的方法，還包括：

對于包含基礎樣本的樣本塊，根據所述樣本塊確定蒸餾損失值和第一損失值，所述蒸餾損失值用于指示教師模型對所述樣本塊中的基礎樣本的預測能力和所述深度學習模型對所述樣本塊中基礎樣本的預測能力的差異，所述第一損失值與所述深度學習模型對所述樣本塊中的基礎樣本的預測能力負相關，所述教師模型是所述深度學習模型未訓練時的模型；

對于包含誤判樣本的樣本塊，根據所述樣本塊確定第二損失值，所述第二損失值與所述深度學習模型對所述樣本塊中的誤判樣本的預測能力負相關；

當所述蒸餾損失值、所述第一損失值和所述第二損失值滿足預設條件時，確定所述深度學習模型達到最優狀態。

4.根據權利要求3所述的方法，其中，所述預設條件為加權求和的值小于預設值，所述當所述蒸餾損失值、所述第一損失值和所述第二損失值滿足預設條件時，確定所述深度學習模型達到最優狀態，包括：

確定所述蒸餾損失值、所述第一損失值和所述第二損失值依次對應的第一權重、第二權重和第三權重；

根據所述第一權重、所述第二權重和所述第三權重，對所述蒸餾損失值、所述第一損失值和所述第二損失值加權求和；

當所述加權求和的值小于預設值時，確定所述深度學習模型達到最優狀態。

5.根據權利要求3所述的方法，其中，所述對于包含基礎樣本的樣本塊，根據所述樣本塊確定蒸餾損失值，包括：

確定所述教師模型學習所述樣本塊得到的第一中間結果；

確定所述深度學習模型在所述教師模型的指導下學習所述樣本塊得到的第二中間結果；

根據所述第一中間結果和所述第二中間結果，確定所述蒸餾損失值。

6.根據權利要求5所述的方法，其中，所述確定所述深度學習模型在所述教師模型的指導下學習所述樣本塊得到的第二中間結果，包括：

將所述樣本塊輸入至所述深度學習模型，根據所述教師模型各層的輸出，監督所述深度學習模型對應層的輸出，所述教師模型各層包括骨干網絡層、特征金字塔層、感興趣區域層、頭部網絡層、面部網絡層中的至少一個；

根據所述深度學習模型對應層的輸出，確定所述第二中間結果。

7.根據權利要求1或2所述的方法，其中，所述獲取訓練樣本集中的樣本塊之前，還包括：

對所述訓練樣本集包含的基礎樣本亂序，對所述訓練樣本集包含的誤判樣本亂序；

根據所述預設數量，將亂序后的基礎樣本劃分為多個基礎樣本塊，將亂序后的誤判樣本劃分為多個誤判樣本塊。