[發明專利]特征提取網絡訓練方法、圖像處理方法、裝置及其設備

有效

• 申請號: 201910703071.0
• 申請日: 2019-07-31
• 公開（公告）號: CN110399856B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 蘇鵬;王坤;曾星宇
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李小波;劉芳

1.一種特征提取網絡訓練方法，其特征在于，包括：

獲取源域圖像集和目標域圖像集，所述目標域圖像集包括的目標域圖像的數量小于所述源域圖像集包括的源域圖像的數量；

將所述源域圖像和所述目標域圖像輸入特征提取網絡分別進行特征提取，得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息，所述第一特征信息和第二特征信息均包括目標特征信息和域特征信息；

根據所述第一特征信息和所述第二特征信息，分別判定所述源域圖像和所述目標域圖像分別對應的域類別；

至少基于所述源域圖像和所述目標域圖像的域類別判定結果和真實域類別之間的對抗，調整所述特征提取網絡的網絡參數。

2.根據權利要求1所述的方法，其特征在于，所述源域圖像和所述目標域圖像分別包括有對象標注信息；

所述得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息之后，所述方法還包括：

根據所述第一特征信息和所述第二特征信息，對所述源域圖像和所述目標域圖像分別進行對象檢測；

基于所述源域圖像和所述目標域圖像的對象檢測結果和所述對象標注信息的差異，調整所述特征提取網絡的網絡參數。

3.根據權利要求1所述的方法，其特征在于，所述源域圖像和所述目標域圖像分別包括有對象標注信息；

所述得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息之后，所述方法還包括：

根據所述第一特征信息和所述第二特征信息，對所述源域圖像和所述目標域圖像分別進行對象檢測；

所述至少基于所述源域圖像和所述目標域圖像的域類別判定結果和真實域類別之間的對抗，調整所述特征提取網絡的網絡參數，包括：

基于所述源域圖像和所述目標域圖像的域類別判定結果和真實域類別之間的對抗以及對象檢測結果和所述對象標注信息的差異，確定聯合損失；

基于所述聯合損失，調整所述特征提取網絡的網絡參數。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述第一特征信息包括第一特征圖，所述第二特征信息包括第二特征圖；所述特征提取網絡包括N個通道，N為大于1的整數；

所述將所述源域圖像和所述目標域圖像輸入特征提取網絡分別進行特征提取，得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息，包括：

將所述源域圖像輸入所述特征提取網絡，分別進行N個通道的特征提取，得到N個第一特征圖；

將所述目標域圖像輸入所述特征提取網絡，分別進行N個通道的特征提取，得到N個第二特征圖。

5.根據權利要求4所述的方法，其特征在于，所述根據所述第一特征信息和所述第二特征信息，分別判定所述源域圖像和所述目標域圖像分別對應的域類別，包括：

根據所述N個第一特征圖判定所述源域圖像對應的域類別；

根據所述N個第二特征圖判定所述目標域圖像對應的域類別。

6.根據權利要求4所述的方法，其特征在于，所述根據所述第一特征信息和所述第二特征信息，分別判定所述源域圖像和所述目標域圖像分別對應的域類別，包括：

對所述N個第一特征圖進行第一批量化處理，并基于第一批量化處理的結果判定所述源域圖像對應的域類別；

對所述N個第二特征圖進行第二批量化處理，并基于第二批量化處理的結果判定所述目標域圖像對應的域類別。

7.根據權利要求1所述的方法，其特征在于，所述源域圖像和所述目標域圖像的數量比值大于或等于10:1且小于或等于100:1。

8.一種圖像處理方法，其特征在于，包括：

獲取待檢測的圖像；

基于采用如權利要求1-7中任一項所述的方法得到的特征提取網絡對所述圖像進行特征提??；

基于提取的特征對所述圖像進行預定任務的處理，所述預定任務包括以下至少之一：對象檢測、語義分割。