[發明專利]基于雙向生成及中間域對齊的無監督域適應圖像分類方法

在審

• 申請號: 202110816631.0
• 申請日: 2021-07-20
• 公開（公告）號: CN113469273A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 田青;朱雅喃;馬闖;楊宏;許衡
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 李小靜

1.基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于，包括以下步驟：

S1、雙向生成網絡：利用對抗博弈思想對圖像進行訓練生成；

S2、任務網絡：通過重構損失、協方差對齊損失、任務和循環一致性損失監督指導S1生成圖像的質量，保證圖像身份信息，生成與另一個域樣本分布相似的圖像，將目標域圖像所生成的偽源域圖像與源域圖像同時輸入S3網絡；

S3、分類網絡：特征提取，分布對齊，令偽源域圖像與源域圖像分布靠近，對目標域圖像分類。

2.根據權利要求1所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：在所述S1中，將源域圖像與目標域圖像進行歸一化預處理之后，同時輸入到S1生成網絡中。

3.根據權利要求2所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：所述S1網絡由兩個生成器和兩個判別器組成，兩個生成器和兩個判別器分為：源域分支的生成器G_S、目標域分支生成器G_T、源域分支的判別器D_S和目標域分支的判別器D_T；

所述源域分支的生成器G_S，用于生成偽目標域圖像I_S-t；

所述源域分支的判別器D_S，用于判別源域圖像和偽源域圖像；

所述目標域分支生成器G_T，用于生成偽源域圖像I_t-s；

所述目標域分支判別器D_T，用于判別目標域圖像和偽目標域圖像。

4.根據權利要求3所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：所述S1雙向生成網絡所產生的對抗損失如下所示：

其中，為目標域圖像分布，為源域圖像分布。

5.根據權利要求1所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：在所述S2中，任務網絡用于指導和監督生成網絡。

6.根據權利要求1所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：所述S2任務網絡所產生的重構損失如下所示：

其中，I_s為源域已有標簽的圖像，I_t為目標域待分類圖像。

7.根據權利要求6所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：所述S2任務網絡生成過程中，生成圖像的身份信息與原圖像維持一致；

所述任務網絡S2，對應I_s的輸出為T_s，對應I_t的輸出為T_t，對應I_s-t的輸出為T_{s_t}，對應I_t-s的輸出為T_{t_s}，由此產生的任務和循環一致性損失，如下所示：

8.根據權利要求1所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：在所述S3中，目標與圖像與偽目標域圖像的分布盡可能接近，任務網絡中首次加入協方差對齊損失，定義形式如下：

其中，C_S為源域圖像中心化后的協方差矩陣，C_{T_S}為生成的偽源域圖像中心化后的協方差矩陣，C_T為目標域圖像中心化后的協方差矩陣，C_{S_T}為生成的偽目標域圖像中心化后的協方差矩陣，d為圖像通道維度；

利用任務網絡所提供的以上監督指導信息，生成網絡不斷訓練迭代，最終生成符合期待的偽源域圖像，將偽源域圖像作為中間域圖像，替代傳統深度域適應網絡中的目標域圖像，經分類網絡的再次對齊，得到目標域最終分類結果。

9.根據權利要求1所述的基于雙向生成及中間域對齊的無監督域適應圖像分類方法，其特征在于：在將源域圖像與偽源域圖像，同時輸入到S3分類網絡中，分類網絡中的對齊損失定義如下：

其中，X_S和X_Z分別服從分布P(X_S)和分布P(X_z)，當P(X_S)＝P(X_Z)時，M_k(X_S,X_z)＝0，n_s為源域樣本數量，n_z為偽源域樣本數量，X_Z為偽源域樣本；

用于將原變量映射到具有再生性K(x,.),K(y,.)_H＝K(x,y)的再生核希爾伯特空間中。