[發明專利]基于加權最優傳輸的無監督域自適應視覺目標檢測方法

有效

• 申請號: 202011236412.7
• 申請日: 2020-11-09
• 公開（公告）號: CN112396097B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 詹宗沅;魏朋旭;林倞
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于加權最優傳輸的無監督域自適應視覺目標檢測方法、系統及存儲介質，方法包括以下步驟：基于最優傳輸的域間樣本對采樣方法，基于加權最優傳輸的候選區域域間特征對齊學習，淺層全局特征對抗對齊學習，深層全局特征對抗對齊學習，上下文特征融合連接。本發明一方面解決了無監督域自適應目標檢測中提案候選區域特征如何對齊的問題；另一方面，解決了最優傳輸算法初始的域間類別分布不均衡問題，根據候選區域類別數量重新分配最優傳輸算法的初始分布權重，使得兩域間同類的候選區域總權重一致，有效的減少了錯誤類別匹配的發生，保證域差異減小的同時保持類別判別性。

技術領域

本發明屬于目標檢測技術領域，具體涉及一種基于加權最優傳輸的無監督域自適應視覺目標檢測方法、系統及存儲介質。

背景技術

深度學習技術的突破推動了計算機視覺領域的發展，促使圖像識別、目標檢測等技術的應用化。然而，深度學習應用存在一些困難，模型往往在訓練集上性能優秀，卻在實際應用場景中出現性能的退化。許多研究已經表明應用性能中的退化源于“域偏差”，即測試數據和訓練數據的域差異，在研究中訓練數據集常常稱為源域，測試數據稱為目標域。為了解決“域差異”的問題，技術人員可以大量收集目標域的數據，并且進行人工標注，補充到模型的訓練數據中。目標域的二次標注所帶來的成本是高昂的，一旦應用場景變化，就會造成更多的標注人力成本。

近年來逐漸興起無監督域適應技術的研究，這項技術能夠解決上述應用場景中源域和目標域的偏差，減少人工標注的負擔，幫助模型在應用中快速適應目標域。最初這項技術常常被應用于圖像識別任務，很難直接應用到目標檢測任務中，具體表現為：(1)未考慮目標檢測中多個目標之間更精細化的域間表征匹配。(2)訓練中批數據存在域間類別不均衡的問題。這將導致無監督域適應目標檢測應用中常常出現類別判別性差的問題。

最優傳輸是一種能夠衡量兩個分布距離的算法，能夠計算兩個離散分布之間遷移總損失最小的遷移方案。在無監督域適應領域中，最優傳輸算法也是一種是常見的度量技術。現有研究中，僅將最優傳輸算法應用于圖像識別任務中，當應用于更復雜的目標檢測任務，最優傳輸算法的度量容易導致域間錯誤類別的匹配。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提出一種基于加權最優傳輸的無監督域自適應視覺目標檢測方法、系統及存儲介質，方法通過基于最優傳輸算法的采樣策略優化源域和目標域訓練過程中采樣策略，提升每個訓練批次中域間同類樣本的數量；再通過一個改進了的加權最優傳輸算法求解候選區域最佳匹配策略，解決了無監督域自適應目標檢測任務中提案候選區域特征對齊的問題，并改善了該對齊過程中類別錯誤匹配的問題，提高目標域特征的域判別性，有效的提升目標域目標檢測性能。

為了達到上述目的，本發明采用以下技術方案：

本發明提供的一種基于加權最優傳輸的無監督域自適應視覺目標檢測方法，包括以下步驟：

基于最優傳輸的域間樣本對采樣方法，采用預訓練模型對源域和目標域訓練數據圖像進行特征編碼，全局池化得到源域和目標域數據集的特征編碼，構建最優傳輸模型，通過最優傳輸算法迭代求解源域和目標域之間的圖像樣本匹配解，以此匹配解進行訓練采樣；

基于加權最優傳輸的候選區域域間特征對齊學習，每輪訓練迭代中，源域和目標域的圖像分別通過檢測器的特征提取單元和候選區域提取單元，輸出對應圖像中的候選區域，池化獲得各個候選區域目標特征，根據目標類別信息重新分配源域和目標域的候選區域目標出現的權重，構建最優傳輸模型，通過最優傳輸算法迭代求解源域和目標域提案候選區域之間的匹配最優解，對匹配解的域間候選區域構建特征距離最小化目標函數；

淺層全局特征對抗對齊學習，采用檢測器骨干網絡提取淺層全局特征，通過梯度逆轉模塊和卷積網絡結構，輸出全局特征各個像素位置的域判別得分；

深層全局特征對抗對齊學習，采用檢測器骨干網絡提取淺層全局特征，通過梯度逆轉模塊和卷積網絡結構后，再經過全連接層輸出全局特征域判別得分；