[發明專利]用于云聯邦的圖像中的目標物識別方法及裝置

在審

• 申請號: 202011641087.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112733686A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 程家明;孔繁東;周志祥;彭楊
• 申請（專利權）人: 武漢興圖新科電子股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 張毅

本發明提供了一種用于云聯邦的圖像中的目標物識別方法及裝置，該方法包括以下步驟：對原始圖像進行Random?Batch images處理，并與原始圖像融合后輸入ResNet網絡，進行特征提取，獲得特征圖；將特征圖輸入到雙向特征圖金字塔網絡中進行深層特征圖融合，獲得語義表達能力更強的特征圖，并輸入到區域生成網絡中，生成多個候選框，將特征框輸入ROIAlign網絡層篩選出感興趣區域，感興趣區域映射到特征圖得到感興趣區域的特征信息；根據特征信息通過全連接層對感興趣區域進行分類、框回歸及掩碼網絡處理，獲得原始圖像的語義分類結果，以識別目標物。本發明在訓練過程中對模型的改進使之能對圖像中的目標細粒度檢測和識別有更好的效果。

技術領域

本發明涉及圖像識別技術領域，具體涉及一種用于云聯邦的圖像中的目標物識別方法及裝置。

背景技術

相較于普通的目標檢測任務，航拍圖像中的軍事碼頭目標檢測有難度更大。首先，由于距離太遠，像素不是很高，圖像本身模糊不清；另外，在圖像中既有像素超過100×100的橋梁、操場，也有像素小于50×50各種集裝箱、船只，而且船只目標較為密集，還有些相互交疊的部分，還有介于其間的飛機、碼頭，圖像復雜程度更高，因此要求目標識別方法對多尺度和精度需求比較高。

為了對軍事碼頭航拍圖像中的各個目標進行識別，首先，要進行語義分割，先識別出不同類別的的實體，其次，需要對同類別的實體進行實例分割，最終檢測出各個目標的屬性。

在語義分割層面，目前主要有RCNN、fast-RCNN、faster-RCNN等，其中RCNN網絡先提取圖像中的Proposal(候選框)，然后將Proposal(候選框)輸入CNN(卷積神經網絡)提取特征，使用SVM(支持向量機)分類，最后做Bbox reg(框回歸)，在語義分割方面，效果較好，但是其速度較慢，原因是在提取圖像的proposal的時候計算機進行大量重復計算。

為了解決RCNN速度較慢的問題，目前提出一種Fast-RCNN算法。在Fast-RCNN中，將輸入變為一整張圖像，通過ROI再進行特征選擇。并且將Bbox reg(框回歸)和區域分類都加入網絡變成了multi-task，Fast-RCNN將RCNN每一個框都要單獨進CNN入這一大缺點改進，提升了速度。但是盡管Fast-RCNN極大地提高了速度，但是篩選特征框還是需要花費大量的時間。

為了進一步提高選擇Proposal(候選框)的速度，一種基于Fast-RCNN的改進算法Faster-RCNN被提出，Faster-RCNN在Fast-RCNN進行改進，首次提出了一種快速提取Proposal(候選框)的算法—RPN(Region Proposal Network，區域生成網絡)，RPN很好的整合到Fast-RCNN中。在語義分割方面，Fast-RCNN以及Faster-RCNN等，取得了非常好的效果，但是Faster-RCNN無法進行實例分割，無法達到目標識別的要求。

為了更好的對目標進行識別，在Faster-RCNN基礎上，一種改進的實例分割算法Mask-RCNN被提出。首先Mask-RCNN對Faster-RCNN中的ROI(Region Of Interest，感興趣區域)進行了改進，由原本的ROI Pooling改進為ROI Align，極大的減小了Proposal(候選框)過程中的誤差；其次，Mask-RCNN中的FPN(特征金字塔網絡)是對該主干網絡的擴展，可以在多個尺度上更好地表征目標。此外，Mask-RCNN中最關鍵的是在其已有的用于邊界框識別的分支上添加了一個并行的用于預測目標掩碼的Mask(掩碼網絡)分支，實現了實例分割。

但是針對碼頭遙感圖像細粒度的目標識別，Mask-RCNN的魯棒性依然存在不足，在細粒度目標識別的準確率不是很高。因此Mask-RCNN的魯棒性不足、對細粒度目標識別的準確率不高是亟待解決的技術問題。

發明內容

本發明提供了一種用于云聯邦的圖像中的目標物識別方法及裝置，旨在解決傳統的Mask-RCNN魯棒性不足、對細粒度目標識別的準確率不高的技術問題。