[發明專利]基于特征對抗遷移和半監督學習的跨域水面目標檢測方法

在審

• 申請號: 202210747277.5
• 申請日: 2022-06-29
• 公開（公告）號: CN115082792A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 田聯房;馮俊健;李彬;董超
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于特征對抗遷移和半監督學習的跨域水面目標檢測方法，其特征在于，包括以下步驟：

1)利用源域數據和目標域數據構建水面目標數據集，以及構建水面目標檢測模型；其中，源域數據采集自某一水面環境的已標注樣本，目標域數據采集自新環境的無標注樣本，水面目標檢測模型包含基于Resnet50的基礎檢測網絡、基于區域的域對抗判別器和域對抗類別判別器；

2)進行特征對抗遷移學習，利用水面目標數據集訓練水面目標檢測模型，以對抗的方式實現源域數據與目標域數據的特征對齊；

3)進行半監督學習，利用特征對抗遷移學習后的水面目標檢測模型對部分目標域數據進行偽標注，利用水面目標數據集對特征對抗遷移學習后的水面目標檢測模型進行半監督訓練，并結合特征對抗遷移學習，提高跨域水面目標檢測的性能，最終實現準確的跨域水面目標檢測。

2.根據權利要求1所述的基于特征對抗遷移和半監督學習的跨域水面目標檢測方法，其特征在于，在步驟1)中，采集水面環境的已標注樣本作為源域數據，并采集新環境的無標注樣本作為目標域數據，構建水面目標數據集；對水面目標數據集中的樣本進行數據增強，包括水平翻轉、隨機噪聲、雨天生成和大霧生成。

3.根據權利要求1所述的基于特征對抗遷移和半監督學習的跨域水面目標檢測方法，其特征在于，在步驟1)中，構建水面目標檢測模型，包括：

a、搭建基于Resnet50的基礎檢測網絡的結構，該結構包含基于Resnet50的特征提取器、區域提議網絡、區域網絡、區域池化和目標函數；

基于Resnet50的基礎檢測網絡的結構搭建后，進行預訓練，其流程為：首先將源域數據輸入特征提取器得到特征圖，接著通過區域提議網絡生成候選區域，將區域池化后的候選區域特征輸入到區域網絡進一步優化檢測結果，最后通過優化基礎網絡的目標函數來調整水面目標檢測模型的參數；其中，基于Resnet50的基礎檢測網絡的目標函數為：

式中，D_S表示源域數據，表示區域提議網絡的損失函數，表示區域網絡的損失函數，λ₁表示的懲罰系數，和都包含了用于分類的交叉熵損失和用于位置回歸的Smooth-L1函數；

b、搭建基于區域的域對抗判別器：采用梯度反轉層和卷積層串聯構建基于區域的域對抗判別器，其中，將區域提議網絡的輸出作為基于區域的域對抗判別器的輸入，采用基于區域的域對抗目標函數來訓練基于區域的域對抗判別器的參數，并通過梯度反向傳播的方式，調整水面目標檢測模型的參數；其中，基于區域的域對抗目標函數為：

式中，表示基于區域的域對抗目標函數，表示目標域數據，表示區域提議網絡生成的候選區域集合，p_c(r)表示候選區域r屬于域類別c的概率；

c、搭建域對抗類別判別器：采用梯度反轉層和卷積層串聯構建域對抗類別判別器，其中，將區域池化后的候選區域特征作為域對抗類別判別器的輸入，并利用區域網絡的輸出對域對抗類別判別器進行加權，采用域對抗類別目標函數來訓練域對抗類別判別器的參數，并通過梯度反向傳播的方式，調整水面目標檢測模型的參數；其中，域對抗類別目標函數為：

式中，表示域對抗類別目標函數，表示多類別域對抗損失函數，表示熵函數；

多類別域對抗損失函數的數學形式為：

式中，表示源域數據和目標域數據的目標類別總數，表示候選區域r屬于i類的類別概率分布，F表示候選區域r的特征向量，c表示域類別，表示計算和c的交叉熵函數；

熵函數的數學形式為：

4.根據權利要求1所述的基于特征對抗遷移和半監督學習的跨域水面目標檢測方法，其特征在于，在步驟2)中，特征對抗遷移學習的目的是以對抗的方式使水面目標檢測模型實現水面目標數據集中的源域數據與目標域數據的特征對齊，為此，結合基于區域的域對抗判別器進行特征對抗遷移學習的訓練，并采用隨機梯度下降法對水面目標檢測模型的參數進行調整，其目標函數為：

式中，D_S表示源域數據，表示目標域數據，表示基于Resnet50的基礎檢測網絡的目標函數，表示基于區域的域對抗目標函數，λ₂表示的懲罰系數。

5.根據權利要求1所述的基于特征對抗遷移和半監督學習的跨域水面目標檢測方法，其特征在于，所述步驟3)包括以下步驟：

3.1)利用特征對抗遷移學習后的水面目標檢測模型對部分無標注的目標域數據進行偽標注，并通過人工方式調整偽標注的準確度；

3.2)利用基于區域的域對抗判別器和域對抗類別判別器進行半監督訓練，并采用隨機梯度下降法對水面目標檢測模型的參數進行調整，其目標函數為：

式中，D_S表示源域數據，表示目標域數據，表示基于Resnet50的基礎檢測網絡的目標函數，表示基于區域的域對抗目標函數，表示域對抗類別目標函數，λ₃和λ₄分別表示和的懲罰系數；

最終，利用訓練收斂的水面目標檢測模型部署在新環境中實現準確的跨域水面目標檢測。