[發明專利]用于不平衡高分辨率遙感影像的在線持續目標檢測方法

有效

• 申請號: 202110261065.1
• 申請日: 2021-03-10
• 公開（公告）號: CN112884752B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 蔣捷;陳曦;李志強;劉敏;劉小平;李慶利;方濤;霍宏
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/774
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 楊曉輝

用于不平衡高分辨率遙感影像的在線持續目標檢測方法，屬于基于深度學習的目標檢測技術領域。本發明針對在線目標檢測存在災難性遺忘以及高分辨率遙感影像中的類別不平衡導致對數量較少的小類別目標識別能力差的問題。包括建立緩沖區用以存儲目標檢測過程中已完成的部分檢測數據，包括已有類別的歷史樣本圖像，在緩沖區未滿時，順序添加樣本圖像；緩沖區已滿時，基于平衡原則添加樣本圖像；建立重播機制，通過概率隨機選擇函數按圖像權重對樣本圖像進行隨機選擇，使圖像權重越大的樣本圖像被選擇的可能性越大，獲得選定樣本圖像作為重播圖像；使用重播圖像與當前批次圖像共同訓練檢測器，獲得訓練后的檢測器用于目標檢測。本發明用于在線目標檢測。

技術領域

本發明涉及用于不平衡高分辨率遙感影像的在線持續目標檢測方法，屬于基于深度學習的目標檢測技術領域。

背景技術

深度卷積神經網絡(DCNNs)在遙感領域的目標檢測方面具有出色的成績，包括道路檢測，建筑物檢測以及飛機檢測等。

大多數目標檢測器傾向于遵循離線學習的方式：檢測器每次從靜態數據集中提取出小批量的樣本進行訓練，并且在整個訓練集上學習多個輪次。隨著遙感成像技術的發展，每天都會產生大量的高分辨率遙感影像。高分辨率遙感影像的不斷增加給離線學習帶來了巨大的挑戰。當新的任務出現時，離線學習的方式無法在不遺忘舊任務的情況下持續更新檢測器。相反，人類和哺乳動物在一生中可以學習大量任務，而且不會忘記以前學習的知識。為了達到相同的效果，在線連續學習成為近年來的熱門話題。它可以即時有效地學習不斷輸入的新訓練數據，而且無需重新學習先前的所有數據。與離線學習相比，在線持續學習具有更高的效率，更好的可伸縮性以及對不斷變化的環境的更強適應性。如圖27和圖28所示，具體地說，在線持續學習僅訓練一個輪次，并且在輸入新數據時避免重新訓練所有數據。而離線學習則需要在混合了新數據和舊數據的數據集上訓練多個輪次。因此，與離線學習方式相比，在線持續學習對計算資源和存儲資源的要求更低。

在線持續學習可以使檢測器有效地學習并記住越來越多的高分辨率遙感影像。其中，關鍵的挑戰之一是避免災難性的遺忘問題。具體來說，當從新數據中學習信息時，使用在線持續學習方式的檢測器更新模型的參數，如果參數更新太多，檢測器可能會忘記與過去數據相關的知識。為了解決災難性的遺忘問題，現有的解決方法可以分為三類：基于正則化的方法、基于參數隔離的方法和基于重播的方法。基于正則化的方法通過對目標進行正則化來減輕災難性的遺忘，這既可以減弱已學習過的任務的特征漂移，也可以防止與過去任務相關的權重發生變化。基于參數隔離的方法針對不同任務調整各種參數，以避免新任務對舊任務的干擾。基于重播的方法可以將過去任務的數據子集直接存儲在緩沖區中，也可以使用生成模型(例如GAN)進行壓縮。在學習新數據時，舊樣本將從緩沖區中重播或由生成模型生成，這些樣本用于重新訓練或者作為當前任務的約束。其中前兩種方法將神經元與各種任務聯系在一起，因此在訓練和測試階段必須劃分數據的任務邊界。為了避免對任務邊界的依賴，更加關注于基于重播的方法。特別地，經驗重播(Experience Replay)是一種可用于在線流的基于重播的特殊方法，它使用較小的內存來存儲先前數據的一些示例，然后當輸入小批次的新數據時，重播相同數量的舊數據一起訓練模型。現有的絕大多數基于重播的在線持續學習方法都用于圖像分類。由于以下原因，使得這些方法不能直接用于目標檢測：

1)在分類中，每個圖像都被視為一個實例；而在目標檢測中，一張圖像中可能包含多個類和多個實例；2)分類嘗試回答圖像中的物體是什么，而目標檢測還需要位置信息來確定目標在哪里。