[發明專利]一種基于對比損失的域自適應物體檢測方法

有效

• 申請號: 202010740512.7
• 申請日: 2020-07-28
• 公開（公告）號: CN111950608B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 葉齊祥;劉峰;張小松;萬方;季向陽
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T3/00
• 代理公司: 北京康思博達知識產權代理事務所(普通合伙) 11426
• 代理人: 潘煒;劉冬梅

本發明公開了一種基于對比損失的域自適應物體檢測方法，該方法包括以下步驟：步驟1，訓練檢測器；步驟2，對檢測器進行初步微調；步驟3，對初步微調后的檢測器進行再次微調；步驟4，利用微調后的檢測器進行物體檢測。本發明所公開的方法采用域對比法來解決跨域情境下的物體檢測問題，通過最小化域對比損失，在增強特征的遷移性的同時，保留特征的判別性，取得了優越的性能，適用于跨域、多場景下的物體檢測。

技術領域

本發明涉及計算機視覺和人工智能技術領域，具體涉及跨域物體檢測方法，尤其涉及基于對比損失的域自適應物體檢測方法。

背景技術

物體檢測作為計算機視覺領域的核心問題，是很多應用系統的基礎。物體檢測模型在訓練時非常依賴圖像的標注信息，如目標的坐標位置和類別。若要獲得良好的檢測性能，就需要在大量的帶有標注信息的圖像上進行訓練，圖像的數量級一般可以達到千萬級。在工程應用中往往不會提供圖像的標注信息，因為對圖像進行標注的時間成本和經濟成本非常高。

解決上述問題的一個方案是用公開的、可獲取的、帶標注信息的圖像數據集對進行訓練，但由于此類圖像與真正在工程應用中的圖像分布不一樣，即訓練模型的圖像與真正在工程應用中的圖像分布不一樣，會導致檢測性能大幅下降。在缺乏圖像標注信息的情境下，檢測器想要準確檢測物體并對其進行精確定位的難度極大。因此，域自適應物體檢測方法的研究對于將物體檢測器進行工程化應用具有重要意義。

現有技術中，解決跨域導致的檢測性能下降問題的方法主要有三種，分別是基于對抗的域自適應物體檢測方法、基于重建的域自適應物體檢測方法和基于偽標簽的域自適應物體檢測方法。

基于對抗的域自適應物體檢測方法是最主要的研究方向，其訓練過程涉及一個生成器和判別器，生成器是一個深度卷積神經網絡，負責提取圖像特征，輸出圖像的特征，判別器則需判斷出特征是來自源域的圖像還是來自目標域的圖像。通過生成器和判別器的對抗，生成器可以實現對源域圖像和目標域圖像的特征的對齊(即特征的可遷移性)。但該方法僅關注于將源域和目標域圖像的特征對齊，而忽略了遷移后特征的判別性。

基于重建的方法會對源域或目標域的圖像進行風格遷移，將源域的圖像遷移到目標域的風格或將目標域的圖像遷移到源域的風格，然后，用遷移前和遷移后的圖像對模型進行訓練。Inoue等人首先用源域帶標注的圖像對模型進行訓練，然后采用CycleGAN將源域的圖像遷移到目標域的風格，遷移前的圖像和遷移后的圖像共享標注信息，并用遷移后的圖像對網絡進行微調。Taekyung Kim等人指出，只用源域的圖像訓練的模型是有偏的，而用CycleGAN進行風格遷移得到的圖像可能是不完美的，也不是唯一的，于是在風格遷移時引入約束，包括顏色保留約束、重構約束以及兩者的結合，每一張源域圖像經過遷移后會得到三張不同的目標域風格的圖像。然后，采用帶標注信息的源域的圖像訓練模型的同時，對源域圖像、目標域圖像、源域遷移至目標域風格的圖像進行對抗訓練，不再采用微調策略。

由于目標域的圖像沒有標注信息，無法直接用于模型的訓練。基于偽標簽的方法用訓練過的模型對目標域圖像打上偽標簽，然后用偽標簽和目標域圖像對模型進行訓練。鑒于點標注信息易于獲取，Inoue等人采用弱監督學習的方法，在打偽標簽時會應用標注信息中的類別信息，但不使用坐標信息。該方法只進行一次打偽標簽，然后用其對之前訓練過的模型微調。Seunghyeon Kim等人打的偽標簽是不斷迭代的，每一次輸入目標域圖像都會重新打上偽標簽用于訓練，此外，由于偽標簽的準確性比較低，其并不用于計算坐標回歸的損失，而只是用來計算分類錯誤的損失。

上述方法均只關注將源域和目標域圖像的特征對齊(即特征的可遷移性)，而忽略了遷移后特征的判別性，跨域檢測性能不佳。因此，有必要提供一種跨域情境下的物體檢測方法，其能夠在增強模型輸出圖像特征的可遷移性的同時，增強特征的判別性，顯著提升跨域物體檢測性能。

發明內容