[發明專利]基于目標互換和度量學習的小樣本目標檢測方法及系統

有效

• 申請號: 202110603033.5
• 申請日: 2021-05-31
• 公開（公告）號: CN113283513B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 劉芳;焦李成;劉靜;劉旭;李鵬芳;李玲玲;郭雨薇;古晶
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/74;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種基于目標互換和度量學習的小樣本目標檢測方法及系統，利用基類中目標圖像與查詢圖像已有的標簽信息，將查詢圖像與目標圖像中的同類目標進行互換，構成新的查詢?目標圖像對作為輸入。通過這種數據增強方式增加了目標圖像中各目標之間的對比，為相似性度量模塊提供了更多的可對比樣本，減小了目標圖像中其他類目標或背景對于待檢測目標的影響，提升了基于度量學習的小樣本目標檢測模型在基類與新類上的檢測精度。

技術領域

本發明屬于圖像檢測技術領域，具體涉及一種基于目標互換和度量學習的小樣本目標檢測方法及系統。

背景技術

深度學習模型在目標檢測任務中取得了巨大的成功主要是因為深度神經網絡可以從數據中學習更高級、更深層次的特征。然而深度學習模型嚴重依賴于大量的帶標簽數據，但人工數據標注費時費力、價格昂貴，并且在某些應用領域本來就沒有足夠的數據積累。深度學習在數據密集型的應用中達到了令人滿意的效果，然而當帶標簽的數據樣本很少時或數據集很小時，會受到阻礙。

基于度量學習的小樣本目標檢測模型的輸入是查詢-目標圖像對，輸出是目標圖像中與查詢圖像相似的區域。模型在基類上訓練時，查詢圖像與目標圖像的標簽都是已知的，訓練的目的是學習查詢圖像和目標圖像之間的相似性度量，與類別無關，然后在測試階段直接將學習到的度量用到新類數據集上。分析目標圖像與查詢圖像的特點及基于度量學習的小樣本檢測模型的結果發現，由于目標圖像背景豐富，并包含多類前景對象，導致算法對于存在相互關系的類別容易產生錯檢的結果。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于目標互換和度量學習的小樣本目標檢測方法及系統，通過利用基類中目標圖像與查詢圖像已有的標簽信息，將查詢圖像與目標圖像中的同類目標進行互換，構成新的查詢-目標圖像對作為輸入。通過這種數據增強方式增加目標圖像中各前景對象之間的對比，為相似性度量模塊提供了更多的可對比樣本，進而減小目標圖像中其他類目標或背景對于待檢測目標的影響，提升了基于度量學習的目標檢測模型的精度。

本發明采用以下技術方案：

一種基于目標互換和度量學習的小樣本目標檢測方法，包括以下步驟：

S1、對類別集合C進行劃分，根據類別劃分得到基類類別與新類類別，并根據基類類別與新類類別劃分圖像數據集為基類圖像數據集與新類圖像數據集；

S2、根據步驟S1得到的基類圖像數據集和新類圖像數據集分別構造形式為查詢圖像-目標圖像的成對的基類數據集與新類數據集；

S3、使用Faster R-CNN作為檢測模型的主框架，構造基于度量學習的小樣本目標檢測模型；

S4、構造基于目標互換的數據增強模塊，在步驟S2構造的成對的基類數據集中隨機選擇成對的查詢圖像-目標圖像及其對應的標簽信息作為數據增強模塊的輸入，根據標簽信息，將目標圖像中與查詢圖像屬于同一類別的實例對象所在的區域裁剪下來作為新的查詢圖像，并將原查詢圖像嵌入到對應實例對象所在的區域中，與原目標圖像組成新的目標圖像，構造新的查詢-目標圖像；

S5、使用步驟S2構造的成對的基類數據集作為訓練數據集，對于每批作為輸入的查詢-目標圖像對設置一個隨機數rand，如果隨機數rand大于0.5，則根據步驟S4中的數據增強模塊生成新的查詢-目標圖像對，如果隨機數rand小于0.5，保留原輸入圖像對，然后將圖像對與對應的標簽信息分批次輸入步驟S3中構造的小樣本目標檢測模型中進行訓練，每批次大小為K；

S6、在步驟S2中構造的成對的新類數據集或基類數據集中隨機選擇查詢-目標圖像對，輸入步驟S5訓練后的小樣本目標檢測模型中，得到對于新類或基類的檢測結果，即在目標圖像找到與查詢圖像屬于同類別的目標實例。