[發明專利]基于多任務網絡的訓練方法和裝置

在審

• 申請號: 202010965688.2
• 申請日: 2020-09-15
• 公開（公告）號: CN112101205A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 胡駿;王中巖;田歡;劉威;袁淮
• 申請（專利權）人: 東軟睿馳汽車技術(沈陽)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京超成律師事務所 11646
• 代理人: 孔默

本發明提供了一種基于多任務網絡的訓練方法和裝置，多任務網絡包括檢測網絡和分割網絡，方法包括：將多個訓練樣本輸入檢測網絡，對檢測網絡進行訓練，確定檢測網絡在訓練完成時的訓練參數和每個訓練樣本對應的多種第一分辨率的特征圖；將每個訓練樣本對應的多種第一分辨率的特征圖輸入分割網絡進行卷積計算、上采樣操作，確定每個第二分辨率對應的分割特征圖，直至以每個第二分辨率對應的分割特征圖與對應訓練樣本中的分割標記作為輸入的分割網絡的損失函數的曲線趨于收斂，通過分別訓練檢測網絡和分割網絡，并對參與分割網絡訓練的特征進行豐富，在不損失檢測樣本的精度的情況下，獲得較為精確的分割結果，節省成本。

技術領域

本發明涉及神經網絡訓練的技術領域，尤其是涉及一種基于多任務網絡的訓練方法和裝置。

背景技術

隨著自動駕駛技術的發展，目標物自動識別成為自動駕駛的關鍵，當前一般應用同步訓練的檢測網絡和分割網絡對目標物進行自動識別。

經發明人研究知曉，當前通過具有檢測標記和分割標記的訓練樣本同時訓練檢測和分割網絡，由于分割標記樣本的成本較高，一般參與網絡訓練的具有分割標記樣本的數量較為有限。因此，當僅有檢測標記的檢測樣本的數量級較大時，該訓練模型無法在不損失檢測樣本的精度的情況下，獲得較為精確的分割結果。

發明內容

有鑒于此，本發明的目的在于提供一種基于多任務網絡的訓練方法和裝置，通過分別訓練檢測網絡和分割網絡，并對參與分割網絡訓練的特征進行豐富，在不損失檢測樣本的精度的情況下，獲得較為精確的分割結果，節省成本。

第一方面，實施例提供一種基于多任務網絡的訓練方法，所述多任務網絡包括檢測網絡和分割網絡，所述方法包括：

將多個訓練樣本輸入檢測網絡，對所述檢測網絡進行訓練，確定所述檢測網絡在訓練完成時的訓練參數和每個訓練樣本對應的多種第一分辨率的特征圖，其中，所述訓練樣本包括檢測標記和分割標記，所述特征圖攜帶有目標物的檢測類別標簽；

將所述每個訓練樣本對應的多種第一分辨率的特征圖輸入所述分割網絡進行卷積計算、上采樣操作，確定每個第二分辨率對應的分割特征圖，直至以所述每個第二分辨率對應的分割特征圖與對應所述訓練樣本中的分割標記作為輸入的所述分割網絡的損失函數的曲線趨于收斂，所述第二分辨率基于所述第一分辨率進行確定，所述分割特征圖攜帶有所述目標物的分割類別標簽，所述分割網絡的訓練參數基于所述檢測網絡的訓練參數進行確定。

在可選的實施方式中，所述方法還包括：

基于所述檢測類別標簽和所述分割類別標簽對所述目標物進行識別。

在可選的實施方式中，所述方法還包括：

基于每個分割特征圖中每個分割類別的像素數量確定所述每個分割類別引入的權重；

根據所述權重平均化所述每個第二分辨率對應的分割特征圖的像素數量。

在可選的實施方式中，所述檢測網絡確定的特征圖包括尺寸為所述訓練樣本的1/8、第一分辨率為80*45的特征圖、尺寸為所述訓練樣本的1/16、第一分辨率為40*23的特征圖和尺寸為所述訓練樣本的1/32、第一分辨率為20*12的特征圖。

在可選的實施方式中，將所述每個訓練樣本對應的多種第一分辨率的特征圖輸入所述分割網絡進行卷積計算、上采樣操作，確定每個第二分辨率對應的分割特征圖的步驟，包括：

對所述檢測網絡確定的第一分辨率為20*12的分割特征圖進行卷積計算、上采樣操作，得到第二分辨率為40*23的分割特征圖；

將所述檢測網絡確定的第一分辨率為40*23的分割特征圖進行卷積計算，并與所述第二分辨率為40*23的分割特征圖與進行元素加和，再進行上采樣操作，得到第二分辨率為80*45的分割特征圖；