[發明專利]深度學習模型訓練方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202011531212.4
• 申請日: 2020-12-22
• 公開（公告）號: CN112508126B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 趙雪鵬;聶磊;鄒建法
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06N20/20
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;臧建明

本申請公開了一種深度學習模型訓練方法、裝置、電子設備及可讀存儲介質，涉及人工智能中的計算機視覺、深度學習、圖像處理技術領域。具體實現方案為：電子設備迭代訓練深度學習模型時，每輪訓練中，從訓練樣本集中讀取樣本塊，根據樣本塊包含的樣本的類別，采用不同的訓練方法訓練深度學習模型。當樣本塊包含的樣本為基礎樣本時，采用蒸餾方法訓練深度學習模型，當樣本塊包含的樣本為誤判樣本時，采用深度學習方法訓練深度學習模型，蒸餾訓練方法和深度學習方法共享深度學習模型的參數。

技術領域

本申請涉及人工智能中的計算機視覺、深度學習、圖像處理技術領域，尤其涉及一種深度學習模型訓練方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著人工智能(Artificial?Intelligence，AI)的飛速發展，計算機視覺領域中，各種圖像處理相關的深度學習模型被廣泛應用于生活和生產中。常見的深度學習模型包括人臉識別模型、圖像分類模型、圖像分割模型、檢測模型等。

在計算機視覺領域，深度學習之所以能夠取得巨大的成功，主要依賴于海量數據。深度學習過程中，利用計算能力高的平臺對海量數據進行深度學習，從而得到深度學習模型。針對大規模深度學習模型，訓練時長少則幾天，多則幾周甚至更長的時間。其中，海量數據也稱為基礎數據。

深度學習模型上線后，若該深度學習模型出現問題，則需要短時間內對該深度學習模型進行優化，以將損失降低到最小。然而，目前的深度學習模型優化方法時間成本高、無法保證對基礎數據的預測能力。

發明內容

本申請提供了一種深度學習模型訓練方法、裝置、電子設備及可讀存儲介質，通過知識蒸餾的方式訓練深度學習模型，提升深度學習模型效果的同時節約時間。

根據本申請的第一方面，提供了一種深度學習模塊訓練方法，包括：

獲取訓練樣本集中的樣本塊，所述樣本塊包含預設數量、類別相同的圖像樣本，所述訓練樣本集中的圖像樣本包括誤判樣本和基礎樣本，所述基礎樣本是訓練深度學習模型時使用的圖像樣本，所述誤判樣本是所述深度學習模型無法正確識別的圖像樣本，所述基礎樣本的數量和所述誤判樣本的數量的差值小于預設閾值；

對于包含基礎樣本的樣本塊，采用蒸餾訓練方法訓練所述深度學習模型；

對于包含誤判樣本的樣本塊，采用深度學習方法訓練所述深度學習模型，所述蒸餾訓練方法和所述深度學習方法的模型訓練參數相同。

根據本申請的第二方面，提供了一種深度學習模型訓練裝置，包括：

獲取模塊，用于獲取訓練樣本集中的樣本塊，所述樣本塊包含預設數量、類別相同的圖像樣本，所述訓練樣本集中的圖像樣本包括誤判樣本和基礎樣本，所述基礎樣本是訓練深度學習模型時使用的圖像樣本，所述誤判樣本是所述深度學習模型無法正確識別的圖像樣本，所述基礎樣本的數量和所述誤判樣本的數量的差值小于預設閾值；

蒸餾模塊，用于對于包含基礎樣本的樣本塊，采用蒸餾訓練方法訓練所述深度學習模型；

深度學習模塊，用于對于包含誤判樣本的樣本塊，采用深度學習方法訓練所述深度學習模型，所述蒸餾訓練方法和所述深度學習方法的模型訓練參數相同。

根據本申請的第三方面，提供了一種計算機程序產品，所述程序產品包括：計算機程序，所述計算機程序存儲在可讀存儲介質中，電子設備的至少一個處理器可以從所述可讀存儲介質讀取所述計算機程序，所述至少一個處理器執行所述計算機程序使得電子設備執行第一方面所述的方法。

第四方面，本申請實施例提供一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，