[發(fā)明專利]一種基于域自適應學習的多復雜場景目標檢測方法

在審

• 申請?zhí)枺?/td>: 202011278312.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112434586A
• 公開（公告）日: 2021-03-02
• 發(fā)明（設計）人: 蘇卓;湯成熙;周凡;林格
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于域自適應學習的多復雜場景目標檢測方法，其特征在于，所述方法包括：

收集通用目標檢測圖像數據，以及多種降質場景下的圖像數據，并對數據進行預處理，得到通用目標檢測圖像集、降質場景圖像集；

利用所述通用目標檢測圖像集預訓練目標檢測網絡YOLOv3；

在所述預訓練完成的目標檢測網絡YOLOv3的基礎上嵌入域自適應模塊，并利用所述通用目標檢測圖像集、所述降質場景圖像集對嵌入了域自適應模塊的目標檢測網絡重新進行訓練，訓練完成后，再把該域自適應模塊進行拆除，得到最終的多復雜場景目標檢測網絡；

輸入待檢測目標的圖像，通過所述多復雜場景目標檢測網絡計算得出圖像中特定物體的類別以及位置信息。

2.如權利要求1所述的一種基于域自適應學習的多復雜場景目標檢測方法，其特征在于，所述通用目標檢測圖像數據，具體為：

通用目標檢測圖像數據包含良好環(huán)境下的圖像數據以及對應的標注數據，即，在圖像上，每一個可識別的物體為一個實例，每個實例對應的標注信息包括：該實例的類別，以及包圍該實例的最小矩陣位置信息。

3.如權利要求1所述的一種基于域自適應學習的多復雜場景目標檢測方法，其特征在于，所述多種降質場景下的圖像數據，具體為：

多種降質場景下的圖像數據包含了雨、霧、低光三種不同場景的數據集，其只包含有圖像數據，而不需要含有目標檢測任務相關的位置信息標注。

4.如權利要求1所述的一種基于域自適應學習的多復雜場景目標檢測方法，其特征在于，所述嵌入域自適應模塊，具體為：

在所述目標檢測網絡YOLOv3的基礎上，在8倍下采樣、16倍下采樣和32倍下采樣得到的特征圖后面，分別串聯(lián)增加域自適應模塊，該域自適應模塊的結構包括梯度反轉層、卷積層、softmax操作和域分類器；

所述梯度反轉層在網絡訓練正向傳播過程中傳遞的是正值，而在反向傳播的過程中傳播的是負值，該層的作用是將域自適應模塊的損失最大化；

所述卷積層和所述softmax操作將特征圖映射到一個1*4的特征向量，表示該特征圖屬于某個域的類別概率。

5.如權利要求1所述的一種基于域自適應學習的多復雜場景目標檢測方法，其特征在于，所述利用所述通用目標檢測圖像集、所述降質場景圖像集對嵌入了域自適應模塊的目標檢測網絡重新進行訓練，具體為：

按照不同場景對所述通用目標檢測圖像集、所述降質場景圖像集的圖像數據加上域標注，其中所述通用目標檢測圖像的域標注為0，所述降質場景圖像中雨的域標注為1，霧的域標注為2，低光的域標注為3；

訓練時，需要同時將所述通用目標檢測圖像集、所述降質場景圖像集中的圖像數據以及圖像所包含的域標注輸入到嵌入了域自適應模塊的目標檢測網絡中，如果圖像數據的域標注不為0，則只需要通過域自適應模塊，計算域分類損失，并將損失的梯度回傳，更新網絡的參數；

如果數據的域標注為0，則不僅要通過域自適應模塊，也要通過整個目標檢測網絡，同時計算域分類損失以及檢測損失，并將損失的梯度回傳，更新網絡的參數。