[發明專利]基于加權最優傳輸的無監督域自適應視覺目標檢測方法

有效

• 申請號: 202011236412.7
• 申請日: 2020-11-09
• 公開（公告）號: CN112396097B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 詹宗沅;魏朋旭;林倞
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.基于加權最優傳輸的無監督域自適應視覺目標檢測方法，其特征在于，包括以下步驟：

基于最優傳輸的域間樣本對采樣方法，采用預訓練模型對源域和目標域訓練數據圖像進行特征編碼，全局池化得到源域和目標域數據集的特征編碼，構建最優傳輸模型，通過最優傳輸算法迭代求解源域和目標域之間的圖像樣本匹配解，以此匹配解進行訓練采樣；

基于加權最優傳輸的候選區域域間特征對齊學習，每輪訓練迭代中，源域和目標域的圖像分別通過檢測器的特征提取單元和候選區域提取單元，輸出對應圖像中的候選區域，池化獲得各個候選區域目標特征，根據目標類別信息重新分配源域和目標域的候選區域目標出現的權重，構建最優傳輸模型，通過最優傳輸算法迭代求解源域和目標域提案候選區域之間的匹配最優解，對匹配解的域間候選區域構建特征距離最小化目標函數；

所述基于加權最優傳輸的候選區域域間特征對齊學習具體為：

每輪訓練迭代中，源域和目標域的圖像分別通過檢測器的特征提取單元、候選區域提取單元，輸出對應圖像中的候選區域，再經過池化獲得各個候選區域目標特征，將特征進一步縮小，通過全局平均池化縮小特征維度；根據目標類別信息重新分配源域和目標域的候選區域目標出現的權重，使得兩域間相同類別總權重保持一致并滿足以下公式：

對于任意c

其中，和分別表示源域和目標域的候選區域目標出現的權重；目標域候選區域類別通過偽標簽判斷類別，計算源域同類總權重，再平均賦予目標域同類樣本，加權后域間同類總權重一致；

構建最優傳輸模型，通過推土機距離最優傳輸算法迭代求解源域和目標域提案候選區域之間的匹配最優解γ^f，*，具體如下：

其中，

對匹配解的域間候選區域構建特征距離最小化目標函數，縮小源域和目標域之間的差異，目標函數如下：

其中，α_ot是控制損失函數大小的參數；

通過最優傳輸算法的解得到對應類別特征的匹配信息，進一步縮小兩域間同類提案候選區域的特征距離；

淺層全局特征對抗對齊學習，采用檢測器骨干網絡提取淺層全局特征，通過梯度逆轉模塊和卷積網絡結構，輸出全局特征各個像素位置的域判別得分；

深層全局特征對抗對齊學習，采用檢測器骨干網絡提取淺層全局特征，通過梯度逆轉模塊和卷積網絡結構后，再經過全連接層輸出全局特征域判別得分；

上下文特征融合連接，計算域判別器中間特征作為上下文信息，將該上下文特征補充到候選區域的特征中，再對融合后的特征進行分類和回歸。

2.根據權利要求1所述的基于加權最優傳輸的無監督域自適應視覺目標檢測方法，其特征在于，所述基于最優傳輸的域間樣本對采樣方法具體為：

采用ImageNet數據集預訓練模型VGG-16的卷積層對源域和目標域訓練數據圖像進行特征編碼，再通過全局池化得到源域和目標域數據集的特征編碼，采用和分別表示源域S第i個樣本編碼和目標域T第j個樣本編碼，采用表示和之間歐拉距離的平方，具體為：

采用和分別表示源域和目標域的樣本出現的概率，N^I，S，N^I，T分別表示源域和目標域圖像總數，則滿足條件：

構建最優傳輸模型，通過推土機距離最優傳輸算法迭代求解源域S和目標域T之間的圖像樣本匹配解γ^I，*，具體為：

其中，

以求解得到的匹配解進行訓練采樣，每輪訓練迭代根據匹配解采樣一張源域樣本和一張目標域樣本，針對每一源域樣本采樣匹配度最高的目標域樣本

3.根據權利要求2所述的基于加權最優傳輸的無監督域自適應視覺目標檢測方法，其特征在于，所述基于最優傳輸的域間樣本對采樣方法還包括，針對一部分未被最優選取的目標域樣本，針對其選取源域匹配度最大的樣本，補充到訓練批次中。