[發明專利]基于孿生RPN的異源匹配方法

在審

• 申請號: 202011209060.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112802056A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 沈家瑞;林偉;金樂軒;隋修寶;李悟馨;陳錢;顧國華
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

本發明公開了一種基于孿生RPN的異源匹配方法，實現在可見光圖中選擇感興趣的區域后，能夠在紅外光圖中自動將該區域選中。通過將孿生神經網絡與候選區域網絡串聯，使用孿生神經網絡提取目標特征，將目標特征輸入到RPN網絡中，區分前景和背景并選定目標位置。把第一幀可見光圖的錨點框包含內容視為檢測的樣例，在紅外光圖里面檢測與它相似的目標。本發明通過該網絡可利用“圖片對”進行端到端的離線訓練。將在線跟蹤任務轉換為一次檢測任務，而不是使用低效費時的多尺度測試，在保證準確率的同時，達到了較高的速度，實現了紅外光圖和可見光圖的異源匹配。

技術領域

本發明屬于圖像匹配技術，具體涉及一種基于孿生RPN的異源匹配方法。

背景技術

視覺目標跟蹤已經成為近些年來的一個基本主題，許多基于深度學習的跟蹤器已在多個跟蹤基準上已經取得了優越的性能。然而，大多數的跟蹤器都很難到達頂部性能與實時速度。

現代追蹤器大致可分為兩個分支。第一個分支是基于相關濾波器，它利用循環相關的性質并在傅里葉域中進行運算來訓練回歸器。它可以在線跟蹤，同時有效地更新濾波器的權值。原始的方法是在傅里葉域中進行，然后廣泛地應用于跟蹤社區。近年來基于相關濾波的方法利用深度特征來提高精度，但在模型更新過程中大大降低了速度。另一個分支的方法旨在使用非常強大的深層特性，而不更新模型。但是，由于沒有使用領域特定的信息，這些方法的性能總是不如基于相關濾波器的方法。

近年來，國內外學者開始關注一種新的全卷積孿生網絡(SiamFC)，利用全卷積的結構，使得輸入大小不受限制。來定位一個更大的搜索圖像中，與范例圖像最匹配的區域。

算法原理為：比較搜索區域和目標模板的相似度，最后得到搜索區域的scoremap，將這種逐點平移匹配計算相似度的方法看成是一種卷積，然后在卷積結果中找到相似度值最大的點，作為新的目標的中心，其對應于搜索區域中子窗口的區域，則該區域即為目標區域。但是，Siamese FC有一些問題：首先是bbox的大小一直不會變，視頻中的目標由遠及近等情況的時候，會在圖像中變大，但bbox框并不會變大，其次是容易檢測錯誤對象，比如跟蹤人的時候，有另一個人走過來，bbox可能立馬框到別人。另外該算法處理的一般是可見光視頻。

發明內容

本發明的目的在于提供一種基于孿生RPN的異源匹配方法，用于可見光圖和紅外光圖的圖像匹配。

實現本發明目的的技術解決方案為：一種基于孿生RPN的異源匹配方法，包括以下步驟：

步驟1、在相同場景下，分別采集可見光圖像和紅外光圖像，以可見光圖像為模板幀，以紅外光圖像為檢測幀，在可見光圖像中通過錨點框選擇目標，轉入步驟2；

步驟2、將模板幀和檢測幀同時輸入到孿生特征提取網絡中，通過全卷積網絡對應提取模板幀的高層特征以及檢測幀的高層特征，轉入步驟3；

步驟3、將模板幀的高層特征分別輸入到候選區域網絡的分類支路和回歸支路中，同時將檢測幀的高層特征分別輸入到候選區域網絡的分類支路和回歸支路中，

在回歸支路中，模板幀的高層特征和檢測幀的高層特征進行卷積運算，得到錨點框的偏移量(dx,dy,dw,dh)；

在分類支路中，模板幀的高層特征和檢測幀的高層特征進行卷積運算，分類支路得到是否為目標，若為目標，則轉入步驟4，否則剔除；

步驟4、根據回歸支路中的偏移量(dx,dy,dw,dh)，確定錨點框的中心點(dx,dy)和大小(dw,dh)，其中w表示寬度，h表示高度，轉入步驟5；

步驟5、根據得到的目標及其對應的錨點框的中心點(dx,dy)和大小(dw,dh)，實現在紅外光圖像中框住可見光圖像中的目標。

本發明與現有技術相比，其顯著優點在于：