[發明專利]基于多級域適應弱監督學習的跨域目標檢測方法

在審

• 申請號: 202310258566.3
• 申請日: 2023-03-16
• 公開（公告）號: CN116342942A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 劉龍;趙志澎
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/0464;G06N3/045;G06N3/0475;G06N3/094;G06N3/048;G06N3/0895
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 趙燕秋

1.基于多級域適應弱監督學習的跨域目標檢測方法，其特征在于，具體按照以下步驟實施：

步驟1、獲取源域D_S數據和目標域D_T數據，構成目標檢測數據集，構建MUNIT網絡，利用源域D_S數據和目標域D_T的數據集對MUNIT網絡進行訓練并生成介于目標域和源域之間的中間域數據集D_G；

步驟2、構建Faster?RCNN網絡作為目標網絡，采用源域Ds的數據作為訓練集對目標檢測器進行訓練并得到初步預訓練的檢測模型，將中間域D_G和目標域D_T數據送入檢測網絡中打上偽標簽；

步驟3、構建圖像級和實際級的域分類器，加入步驟2初步預訓練的檢測模型中，得到具有域自適應的目標檢測器；

步驟4、按照源域D_S、中間域D_G、目標域D_T的順序漸進將數據集輸入具有域自適應的目標檢測器進行訓練，漸進地適應域差異，得到訓練好的目標檢測模型；

步驟5、采用訓練好的目標檢測模型對目標域的數據集進行目標檢測，得到檢測結果。

2.根據權利要求1所述基于多級域適應弱監督學習的跨域目標檢測方法，其特征在于，步驟1中所述MUNIT網絡包括生成器和判別器，所述生成器包括風格編碼器、內容編碼器、特征交叉模塊、解碼器，所述生成器利用源域D_S數據生成接近目標域D_S的中間域D_G數據，所述判別器用于判斷輸入的數據是真實的源域D_S數據還是生成的中間域D_G數據。

3.根據權利要求2所述基于多級域適應弱監督學習的跨域目標檢測方法，其特征在于，步驟1具體過程為：

步驟1.1、把源域Ds和目標域D_T的數據集以不同的風格和內容的分類標準將其分為相應類數，從源域Ds中選定一個子集X1，并從目標域D_T選定中也抽取一個子集X2；

步驟1.2、將子集X1和X2分別輸入內風格編碼器、內容編碼器進行降維操作，得到兩種圖像特征向量；通過若干個卷積層對其中一種圖像特征向量進行降采樣，使用深度殘差網絡會用到的殘差塊生成低維的內容編碼；先通過若干個卷積層對另一種圖像特征向量進行降采樣，然后經過一個全局池化層和一個全連接層，最后生成低維的風格編碼；

步驟1.3、將子集X1的低維的內容編碼與子集X2的低維的風格編碼融合，產生風格遷移的圖像編碼特征，向風格遷移的圖像編碼特征中加入高斯噪聲后進行交叉，得到新結合的編碼特征，對新結合的編碼特征用解碼器升維生成結果圖像；

步驟1.4、將生成結果圖像根據風格編碼器和內容編碼器再次分解成兩個編碼特征，對于低維的內容編碼、低維的風格編碼計算誤差反向傳播，重新調整MUNIT網絡參數；將生成的結果圖像分別輸入風格編碼器和內容編碼器，生成新的風格編碼和新的內容編碼，計算步驟1.2中低維的內容編碼、低維的風格編碼與新的風格編碼和新的內容編碼之間的差距損失，設置偏差閾值，當差距損失超過偏差閾值時，將這個損失反向傳播，重新調整MUNIT網絡參數；

步驟1.5、將子集X1、子集X2、步驟1.3中生成結果圖像輸入GAN網絡，進行判別和對抗訓練；利用梯度反轉來更新對抗損失；訓練后的MUNIT神經網絡使用步驟1.1中分類好的源域D_S和目標域D_T的數據集來生成中間域D_G數據集。

4.根據權利要求2所述基于多級域適應弱監督學習的跨域目標檢測方法，其特征在于，步驟1.3中所述將子集X1的低維的內容編碼與子集X2的低維的風格編碼融合具體過程為：

將子集X2的低維的風格編碼先由多層感知器動態生成參數，再經過自適應實例規范化層，得到可進行融合的低維的風格編碼，將可進行融合的低維的風格編碼和子集X1的低維的內容編碼在殘差塊中進行糅合，然后進行上采樣得到風格遷移的圖像編碼特征。