[發明專利]特征提取網絡訓練方法、圖像處理方法、裝置及其設備

有效

• 申請號: 201910703071.0
• 申請日: 2019-07-31
• 公開（公告）號: CN110399856B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 蘇鵬;王坤;曾星宇
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李小波;劉芳

本發明實施例提供一種特征提取網絡訓練方法、圖像處理方法、裝置及其設備，該訓練方法包括：獲取源域圖像集和目標域圖像集，目標域圖像集包括的目標域圖像的數量小于源域圖像集包括的源域圖像的數量；將源域圖像和目標域圖像輸入特征提取網絡分別進行特征提取，得到源域圖像的第一特征信息和目標域圖像的第二特征信息；根據第一特征信息和第二特征信息，分別判定源域圖像和目標域圖像分別對應的域類別；至少基于源域圖像和目標域圖像的域類別判定結果和真實域類別之間的對抗，調整特征提取網絡的網絡參數。

技術領域

本發明實施例涉及計算機視覺技術領域，尤其涉及一種特征提取網絡訓練方法、圖像處理方法、裝置及其設備。

背景技術

目前所使用的機器學習/深度學習模型都是基于一個共同的基礎假設，即訓練數據(training data)的分布(distribution)和測試數據(testing data)的分布是相同，或者至少是相似的。這樣，機器學習/深度學習模型在訓練數據上所學得的參數，才可以應用于與訓練數據有區別的測試數據。

然而在現實世界中，這種基礎假設很有可能會被打破，從而導致訓練得到的機器學習/深度學習等網絡模型，在使用與訓練數據來自于不同域的測試數據的時候，機器學習/深度學習模型就會表現有不同程度的性能下降。換而言之，就是訓練得到的機器學習/深度學習等網絡模型對于源域數據和目標域數據的檢測性能表現不一致。

發明內容

本發明實施例提供一種特征提取網絡訓練方法、圖像處理方法、裝置及其設備。

第一方面，本發明實施例提供一種特征提取網絡訓練方法，包括：獲取源域圖像集和目標域圖像集，所述目標域圖像集包括的目標域圖像的數量小于所述源域圖像集包括的源域圖像的數量；將所述源域圖像和所述目標域圖像輸入特征提取網絡分別進行特征提取，得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息；根據所述第一特征信息和所述第二特征信息，分別判定所述源域圖像和所述目標域圖像分別對應的域類別；至少基于所述源域圖像和所述目標域圖像的域類別判定結果和真實域類別之間的對抗，調整所述特征提取網絡的網絡參數。

可選的，所述源域圖像和所述目標域圖像分別包括有對象標注信息；所述得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息之后，所述方法還包括：根據所述第一特征信息和所述第二特征信息，對所述源域圖像和所述目標域圖像分別進行對象檢測；基于所述源域圖像和所述目標域圖像的對象檢測結果和所述對象標注信息的差異，調整所述特征提取網絡的網絡參數。

可選的，所述源域圖像和所述目標域圖像分別包括有對象標注信息；所述得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息之后，所述方法還包括：根據所述第一特征信息和所述第二特征信息，對所述源域圖像和所述目標域圖像分別進行對象檢測；所述至少基于所述源域圖像和所述目標域圖像的域類別判定結果和真實域類別之間的對抗，調整所述特征提取網絡的網絡參數，包括：基于所述源域圖像和所述目標域圖像的域類別判定結果和真實域類別之間的對抗以及對象檢測結果和所述對象標注信息的差異，確定聯合損失；基于所述聯合損失，調整所述特征提取網絡的網絡參數。

可選的，所述第一特征信息包括第一特征圖，所述第二特征信息包括第二特征圖；所述特征提取網絡包括N個通道，N為大于1的整數；所述將所述源域圖像和所述目標域圖像輸入特征提取網絡分別進行特征提取，得到所述源域圖像的第一特征信息和所述目標域圖像的第二特征信息，包括：將所述源域圖像輸入所述特征提取網絡，分別進行N個通道的特征提取，得到N個第一特征圖；將所述目標域圖像輸入所述特征提取網絡，分別進行N個通道的特征提取，得到N個第二特征圖。

可選的，所述根據所述第一特征信息和所述第二特征信息，分別判定所述源域圖像和所述目標域圖像分別對應的域類別，包括：根據所述N個第一特征圖判定所述源域圖像對應的域類別；根據所述N個第二特征圖判定所述目標域圖像對應的域類別。