[發(fā)明專利]一種用于域適應語義分割的聯合對抗學習方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210238027.9
• 申請日: 2022-03-11
• 公開（公告）號: CN114581669A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設計）人: 王子磊;毛語實;張燚鑫
• 申請（專利權）人: 合肥中科類腦智能技術有限公司;中國科技技術大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海市錦天城律師事務所 31273
• 代理人: 陸少凡

1.一種用于域適應語義分割的聯合對抗學習方法，其特征在于，

所述方法包括域適應模塊根據輸入源域圖像和目標域圖像獲得語義分割圖以及判別分割圖的屬性，

所述域適應模塊包括一生成器和一判別器，所述生成器輸出源域圖像和目標域圖像對應的語義分割圖；

其中，所述生成器包含編碼器和譯碼器，所述編碼器用于將輸入的源域圖像和目標域圖像編碼為不同層次的特征圖，所述譯碼器用于將不同層次的特征圖處理為不同層分割圖，一權重遷移模塊將不同層次的特征圖處理為遷移分割圖；

判斷所述語義分割圖和所述遷移分割圖的屬性，所述判別器對所述語義分割圖和所述遷移分割圖進行鑒別，判斷所述語義分割圖和所述遷移分割圖屬于源域或目標域；

計算鑒別結果與圖像實際所屬域的損失函數，根據損失函數更新生成器的參數；其中，所述編碼器包括第一層特征編碼器和第二層特征編碼器，所述譯碼器包括第一層特征譯碼器和第二層特征譯碼器。

2.根據權利要求1所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，包括：不同層次的特征圖包括第一特征圖和第二特征圖，不同層分割圖包括第一層分割圖和第二層分割圖。

3.根據權利要求2所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，第一特征圖相關于所述第一層特征編碼器對源域圖像和目標域圖像的編碼，第二特征圖相關于所述第二層特征編碼器對源域圖像和目標域圖像的編碼，所述第一特征圖輸入至所述第一層特征譯碼器和所述權重遷移模塊，所述第二特征圖輸入至所述第二層特征譯碼器和所述權重遷移模塊。

4.根據權利要求3所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，第一層分割圖通過所述第一層特征譯碼器獲得，第二層分割圖通過所述第二層特征譯碼器獲得。

5.根據權利要求1所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，包括：通過第一判別器對所述第一層特征譯碼器輸出的第一層分割圖進行判別，判別所述第一層分割圖屬于源域或目標域；

通過第二判別器對所述第二層特征譯碼器輸出的第二層分割圖進行判別，判別所述第一層分割圖屬于源域或目標域。

6.根據權利要求1所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，所述方法還包括通過權重遷移模塊消除分割模型向源域方向的偏移，所述權重遷移模塊包含一第三譯碼器和一第四譯碼器。

7.根據權利要求6所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，所述權重遷移模塊在第一層特征譯碼器和第二層特征譯碼器上增加一個卷積層計算權重，其中第一層特征譯碼器和第二層特征譯碼器的權重公式如下：

其中*代表卷積處理，WYM₁、WYM₂是增加的權重遷移模塊，、為第一層特征譯碼器和第二層特征譯碼器的權重，分別為遷移后第三譯碼器和第四譯碼器的權重。

8.根據權利要求6所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，所述方法中還包括利用一高層遷移判別器和一低層遷移判別器分別判斷權重遷移模塊處理后輸出的高層遷移分割圖和低層遷移分割圖。

9.根據權利要求1所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，針對所述源域圖像，所述生成器輸出語義分割圖，根據所述語義分割圖與分割標簽計算兩者的差異，所述差異用于計算分割損失。

10.根據權利要求1所述的用于域適應語義分割的聯合對抗學習方法，其特征在于，語義分割模型的整體損失函數計算方法如下：

其中，λseg表示語義分割損失的權重；λadv表示對抗損失的權重；λadv_wtm遷移對抗損失的權重;L表示損失；G表示生成器；WTM_i表示權重遷移模塊，i={1,2}。