[發明專利]基于目標領域自監督學習的無監督領域適應方法和系統

有效

• 申請號: 202011041122.7
• 申請日: 2020-09-28
• 公開（公告）號: CN112149689B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 張婭;雪盈盈;馮世祥;張小云;王延峰
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/46;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種基于目標領域自監督學習的無監督領域適應方法，其特征在于，包括：

領域不變特征提取步驟：對源領域和目標領域的圖像，使用特征提取網絡提取圖像的領域不變特征，得到源領域和目標領域各自的圖像特征；

圖像特征階梯式領域對齊步驟：對所述圖像特征，使用階梯式領域判別網絡預測來自源領域和目標領域的概率；

語義分割步驟：對所述圖像特征，使用卷積和升采樣構成的語義分割網絡得到源領域和目標領域的語義分割圖；

邊緣生成步驟：對所述圖像特征，使用卷積和升采樣構成的邊緣生成網絡得到源領域和目標領域的邊緣生成圖；

分割圖領域對齊步驟：對所述語義分割圖，通過分割圖領域判別網絡預測來自源領域和目標領域的概率；

邊緣圖領域對齊步驟：對所述邊緣生成圖，通過邊緣圖領域判別網絡預測來自源領域和目標領域的概率；

邊緣一致約束步驟：對所述語義分割圖和所述邊緣生成圖，使用邊緣一致損失函數在目標領域實現自監督學習；

所述圖像特征階梯式領域對齊步驟中，特征提取網絡和階梯式領域判別網絡進行min-max操作，目標函數如下：

其中，θ_F是特征提取網絡的參數，θ_f是階梯式領域判別網絡的參數，K是特征提取網絡的層數，k是其中第k層，L_f，k是第k層的損失函數，γ_k是第k層損失函數的權重，是特征提取網絡第k層提取到的源領域特征，是特征提取網絡第k層提取到的目標領域特征，F(X^s)是特征提取網絡提取出的若干源領域特征，F(X^t)是特征提取網絡提取出的若干目標領域特征，是階梯式領域判別網絡預測特征來自源領域的概率，是階梯式領域判別網絡預測特征來自目標領域的概率；隨著k逐步遞增至K，各層特征的領域信息逐步遞減，因此min-max對抗的力度逐步遞減，也即γ_k逐步遞減。

2.根據權利要求1所述的基于目標領域自監督學習的無監督領域適應方法，其特征在于，所述領域不變特征提取步驟中，所述特征提取網絡由層卷積和最大池化操作構成，將源領域的圖像和目標領域的圖像輸入共享的所述特征提取網絡，所述特征提取網絡各層的領域不變特征；

所述源領域的圖像和目標領域的圖像是來自兩個不同分布的針對同一語義分割任務的圖像，源領域的圖像有相應的像素級標注，目標領域的圖像沒有標注信息。

3.根據權利要求1所述的基于目標領域自監督學習的無監督領域適應方法，其特征在于，所述圖像特征階梯式領域對齊步驟中，特征提取網絡和階梯式領域判別網絡進行min-max操作，階梯式領域判別網絡區分輸入的源領域的各層的特征和目標領域的各層的特征，而特征提取網絡提取各層的領域不變的特征來混淆階梯式領域判別網絡，使階梯式領域判別網絡無法區分特征來自哪個領域。

4.根據權利要求1所述的基于目標領域自監督學習的無監督領域適應方法，其特征在于，所述語義分割步驟中，語義分割網絡由層卷積和上采樣操作構成，利用該語義分割網絡，將特征提取網絡提取出的源領域和目標領域的領域不變特征分別進行語義分割。

5.根據權利要求1所述的基于目標領域自監督學習的無監督領域適應方法，其特征在于，所述邊緣生成步驟中，邊緣生成網絡由若干層卷積和上采樣操作構成，利用該邊緣生成網絡，將特征提取網絡提取出的源領域和目標領域的領域不變特征分別生成對應的邊緣圖。

6.根據權利要求1所述的基于目標領域自監督學習的無監督領域適應方法，其特征在于，所述分割圖領域對齊步驟，語義分割網絡和分割圖領域判別網絡進行min-max操作，分割圖領域判別網絡區分源領域的分割圖和目標領域的分割圖，而語義分割網絡混淆分割圖領域判別網絡，從而語義分割網絡生成的源領域的分割圖和目標領域的分割圖是領域無關的。