[發(fā)明專利]基于多任務(wù)網(wǎng)絡(luò)的訓練方法和裝置

在審

• 申請?zhí)枺?/td>: 202010965688.2
• 申請日: 2020-09-15
• 公開（公告）號: CN112101205A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計）人: 胡駿;王中巖;田歡;劉威;袁淮
• 申請（專利權(quán)）人: 東軟睿馳汽車技術(shù)(沈陽)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 孔默

1.一種基于多任務(wù)網(wǎng)絡(luò)的訓練方法，其特征在于，所述多任務(wù)網(wǎng)絡(luò)包括檢測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，所述方法包括：

將多個訓練樣本輸入檢測網(wǎng)絡(luò)，對所述檢測網(wǎng)絡(luò)進行訓練，確定所述檢測網(wǎng)絡(luò)在訓練完成時的訓練參數(shù)和每個訓練樣本對應(yīng)的多種第一分辨率的特征圖，其中，所述訓練樣本包括檢測標記和分割標記，所述特征圖攜帶有目標物的檢測類別標簽；

將所述每個訓練樣本對應(yīng)的多種第一分辨率的特征圖輸入所述分割網(wǎng)絡(luò)進行卷積計算、上采樣操作，確定每個第二分辨率對應(yīng)的分割特征圖，直至以所述每個第二分辨率對應(yīng)的分割特征圖與對應(yīng)所述訓練樣本中的分割標記作為輸入的所述分割網(wǎng)絡(luò)的損失函數(shù)的曲線趨于收斂，所述第二分辨率基于所述第一分辨率進行確定，所述分割特征圖攜帶有所述目標物的分割類別標簽，所述分割網(wǎng)絡(luò)的訓練參數(shù)基于所述檢測網(wǎng)絡(luò)的訓練參數(shù)進行確定。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于所述檢測類別標簽和所述分割類別標簽對所述目標物進行識別。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于每個分割特征圖中每個分割類別的像素數(shù)量確定所述每個分割類別引入的權(quán)重；

根據(jù)所述權(quán)重平均化所述每個第二分辨率對應(yīng)的分割特征圖的像素數(shù)量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢測網(wǎng)絡(luò)確定的特征圖包括尺寸為所述訓練樣本的1/8、第一分辨率為80*45的特征圖、尺寸為所述訓練樣本的1/16、第一分辨率為40*23的特征圖和尺寸為所述訓練樣本的1/32、第一分辨率為20*12的特征圖。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述每個訓練樣本對應(yīng)的多種第一分辨率的特征圖輸入所述分割網(wǎng)絡(luò)進行卷積計算、上采樣操作，確定每個第二分辨率對應(yīng)的分割特征圖的步驟，包括：

對所述檢測網(wǎng)絡(luò)確定的第一分辨率為20*12的分割特征圖進行卷積計算、上采樣操作，得到第二分辨率為40*23的分割特征圖；

將所述檢測網(wǎng)絡(luò)確定的第一分辨率為40*23的分割特征圖進行卷積計算，并與所述第二分辨率為40*23的分割特征圖與進行元素加和，再進行上采樣操作，得到第二分辨率為80*45的分割特征圖；

將所述檢測網(wǎng)絡(luò)確定的第一分辨率為80*45的分割特征圖進行卷積計算，并與所述第二分辨率為80*45的分割特征圖與進行元素加和，再進行上采樣操作，得到第二分辨率為160*90的分割特征圖；

對所述第二分辨率為160*90的分割特征圖進行上采樣操作，得到第二分辨率為320*180的分割特征圖。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓練樣本包括多種不同的采集環(huán)境類型、駕駛環(huán)境類型和數(shù)據(jù)集采集類型。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓練樣本包括拼接圖像，所述拼接圖像為四路魚眼攝像頭采集的圖像或平面圖像。

8.一種基于多任務(wù)網(wǎng)絡(luò)的訓練裝置，其特征在于，所述多任務(wù)網(wǎng)絡(luò)包括檢測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，所述裝置包括：

檢測網(wǎng)絡(luò)訓練模塊，將多個訓練樣本輸入檢測網(wǎng)絡(luò)，對所述檢測網(wǎng)絡(luò)進行訓練，確定所述檢測網(wǎng)絡(luò)在訓練完成時的訓練參數(shù)和每個訓練樣本對應(yīng)的多種第一分辨率的特征圖，其中，所述訓練樣本包括檢測標記和分割標記，所述特征圖攜帶有目標物的檢測類別標簽；

分割網(wǎng)絡(luò)訓練模塊，將所述每個訓練樣本對應(yīng)的多種第一分辨率的特征圖輸入所述分割網(wǎng)絡(luò)進行卷積計算、上采樣操作，確定每個第二分辨率對應(yīng)的分割特征圖，直至以所述每個第二分辨率對應(yīng)的分割特征圖與對應(yīng)所述訓練樣本中的分割標記作為輸入的所述分割網(wǎng)絡(luò)的損失函數(shù)的曲線趨于收斂，所述第二分辨率基于所述第一分辨率進行確定，所述分割特征圖攜帶有所述目標物的分割類別標簽，所述分割網(wǎng)絡(luò)的訓練參數(shù)基于所述檢測網(wǎng)絡(luò)的訓練參數(shù)進行確定。