[發明專利]一種輕量化網絡模型的訓練方法、裝置及設備

在審

• 申請號: 202011604099.8
• 申請日: 2020-12-29
• 公開（公告）號: CN112651975A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 莫曜陽;黃源浩;肖振中
• 申請（專利權）人: 奧比中光科技集團股份有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/08;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 梁立耀

本申請適用于深度學習技術領域，提供了一種輕量化網絡模型的訓練方法，包括：獲取初始輕量化網絡模型，以及教師網絡模型；獲取訓練樣本集，所述訓練樣本集包括設置有第一標簽的第一數據及未設置標簽的第二數據；將所述第二數據輸入所述教師網絡模型，得到樣本特征，并將所述樣本特征確定為所述第二數據對應的第二標簽；根據所述第一數據、所述第一標簽、所述第二數據以及所述第二標簽對所述初始輕量化網絡模型進行訓練，得到目標輕量化網絡模型。通過本實施例的方法獲取到的輕量化網絡模型的結構不再受限于原始模型，可以兼容多個平臺，并且具有廣泛性。

技術領域

本申請屬于深度學習技術領域，尤其涉及一種輕量化網絡模型的訓練方法、裝置及設備。

背景技術

現有的模型訓練方法中，對初始的神經網絡進行訓練，得到一個初始化的、訓練好的參數化原始模型，但是，原始模型在實際應用中很難部署。因此，在應用部署前，通常需要對模型進行輕量化處理。現有的輕量化方法包括剪枝、稀疏化等。但是，輕量化后的模型的結構受限于原始模型，可能無法兼容移動平臺，兼容性較差。此外，剪枝、稀疏化通常是由數據驅動的，所以，輕量化后的模型很容易產生過擬合的現象，只在現有數據中表現較好，當數據發生變化時容易產生誤差，不具有廣泛性。

發明內容

本申請實施例提供了一種輕量化網絡模型的訓練方法、裝置及設備，可以解決現有的輕量化的模型無法兼容移動平臺，兼容性較差，不具有廣泛性的問題。

第一方面，本申請實施例提供了一種輕量化網絡模型的訓練方法，包括：

獲取初始輕量化網絡模型，以及教師網絡模型；

獲取訓練樣本集，所述訓練樣本集包括設置有第一標簽的第一數據及未設置標簽的第二數據；

將所述第二數據輸入所述教師網絡模型，得到樣本特征，并將所述樣本特征確定為所述第二數據對應的第二標簽；

根據所述第一數據、所述第一標簽、所述第二數據以及所述第二標簽對所述初始輕量化網絡模型進行訓練，得到目標輕量化網絡模型。

進一步地，所述初始輕量化網絡模型為Unet初始輕量化網絡模型，所述教師網絡模型為Unet教師網絡模型；所述Unet教師網絡模型的基礎殘差模塊的數量大于所述Unet初始輕量化網絡模型的基礎殘差模塊的數量；所述Unet教師網絡模型的基礎殘差模塊中的卷積數量大于所述Unet初始輕量化網絡模型的基礎殘差模塊的卷積數量。

進一步地，教師網絡模型的訓練方法包括：

獲取所述第一數據及其對應的第一標簽；

根據所述第一數據及其對應的第一標簽對初始教師網絡模型進行訓練，得到教師網絡模型。

進一步地，所述根據所述第一數據、所述第一標簽、所述第二數據以及所述第二標簽對所述初始輕量化網絡模型進行訓練，得到目標輕量化網絡模型，包括：

將目標訓練樣本輸入至所述初始輕量化網絡模型進行處理，得到所述目標訓練樣本對應的目標特征；所述目標訓練樣本包括所述訓練樣本集中的第一數據和/或第二數據；

根據所述目標特征、所述目標訓練樣本對應的標簽以及預設損失函數計算目標損失值；

若所述目標損失值滿足預設停止訓練條件，則停止訓練，將當前的所述初始輕量化網絡模型作為目標輕量化網絡模型；

若所述目標損失值不滿足所述預設停止訓練條件，則根據所述目標損失值對所述初始輕量化網絡模型進行更新，并返回執行將目標訓練樣本輸入至所述初始輕量化網絡模型進行處理。

進一步地，所述預設損失函數為平方差函數。