[發明專利]基于多級融合和角點偏移的圖像旋轉目標檢測方法

有效

• 申請號: 202110403036.4
• 申請日: 2021-04-15
• 公開（公告）號: CN113095316B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李珺;侯彪;焦李成;王爽;任博;任仲樂;馬晶晶;馬文萍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/24;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明提出一種基于多級融合和角點偏移的遙感圖像旋轉目標檢測方法，用于解決現有技術中存在的不同尺度目標的檢測準確度低和檢測過程運行速度慢的技術問題。本發明的實現步驟為：1、獲取每個目標的旋轉標注框的最小外接矩形；2、生成訓練集；3、構建深度全卷積神經網絡；4、訓練深度全卷積神經網絡；5、對圖像中的旋轉目標進行檢測；6、對旋轉目標的邊框進行后處理；7、將所有目標的最終旋轉檢測框繪制到圖像中對應的位置，得到檢測結果圖。本發明能夠更好地區分圖像中不同尺度目標，減少誤檢，提高了圖像目標檢測后目標框的精度。

技術領域

本發明屬于圖像處理技術領域，更進一步涉及遙感圖像和自然圖像目標檢測中的一種多級融合和角點偏移的圖像旋轉目標檢測方法。本發明可用于對遙感圖像和自然圖像中的旋轉目標進行檢測。

背景技術

遙感圖像與自然圖像相比較，遙感圖像中目標的尺度變化范圍較大。在不同的分辨率下，同一個目標的尺寸變化較大，在相同分辨率下，不同目標的尺寸差異也較大。為了能夠更準確的區分不同尺度的目標的特征，將不同層級的特征進行合理的融合可以使每個層級在保留當前層級目標特征的基礎上兼顧其他層級的目標特征，從而更有效的區分不同尺度的目標。在自然圖像中，由于拍攝的設備往往是相機、監控等由手持或者相對固定的設備，拍攝到的物體也往往都是垂直于地面，從而在圖像中處于一種基本水平和垂直的位置。因此，在自然圖像中，往往通過不同尺寸的水平矩形來定位目標。然而，在遙感圖像中，由于遙感圖像的拍攝方式與自然圖像有很大不同，其俯視角度的拍攝使得很多需要檢測的目標朝向各異，因此在遙感圖像的目標檢測當中，采用旋轉矩形框一方面可以確定出目標的朝向，另一方面更貼合目標物體的邊框也能使對物體尺寸的計算更準確。

湖南大學在其申請的專利文獻“一種圖像語義特征約束的遙感目標檢測方法”(專利申請號：202011018965.5，申請公布號：CN112101277A)中提出了一種遙感圖像旋轉目標檢測方法。該方法采用了特征金字塔網絡，通過雙線性插值將高層級特征進行二倍上采樣后與前一層級特征相加進行融合。通過在水平框參數的基礎上加入角度參數來回歸旋轉框，并預設大量的旋轉錨點。該方法存在兩點不足之處是，其一，在對多層級特征進行融合的過程當中，只將高層級特征合并到低層級特征進行了單向融合，低層級特征沒有合并到高層級特征中，從而使得低層級特征在高層級特征中的區分度不夠，容易出現誤檢。其二，相比較于水平框目標檢測任務中預設水平框錨點的方法，預設的旋轉錨點的數量和計算量都增加了數倍，導致了算法需要消耗的硬件資源大。

Yongchao?Xu等人在其發表的論文“Gliding?vertex?on?the?horizontalbounding?box?for?multi-oriented?object?detection”(IEEE模式分析與機器智能匯刊TPAMI?IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence?2019年)中提出了一種基于水平包圍盒滑動頂點的遙感圖像旋轉目標檢測方法。該方法在不引入角度參數、只設置水平框錨點的情況下，實現了更高效的旋轉目標檢測。該方法通過在傳統的水平框回歸的基礎上，預測旋轉框四個頂點相對于目標外接水平框的四個頂點的偏移量。該方法在通過特征網絡提取的特征圖上應用區域建議網絡生成候選旋轉框，區域建議網絡輸出候選旋轉框的中心坐標偏移量、外接水平矩形長、寬相對比例和四個頂點的偏移量等參數，然后根據區域建議網絡生成的旋轉矩形區域，在特征圖上提取對應圖像特征應用分類網絡進行分類。這種方法只需要與自然圖像中水平目標檢測的預設錨點相同數量的錨點，而不需要像用角度參數描述旋轉框一樣設置更多的錨點。因此，該方法相對于角度回歸方法具有更快的速度。但是，該方法仍然存在兩點不足之處是，其一，在實際場景下，預測旋轉框四個頂點的偏移量往往導致得到的旋轉框不是嚴格意義的矩形，從而在與實際標注計算精度時會帶來一定誤差，導致精度低。在獲取目標尺寸和朝向等下游任務上，同樣導致了不準確。其二，由于兩階段目標檢測網絡架構的速度相對于單階段檢測網絡較慢，運行效率低。

發明內容