[發明專利]一種基于圖像深度的多分支多尺度小目標檢測方法

有效

• 申請號: 201911415059.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111414931B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 陳婧;王其超;彭偉民;徐海濤
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/762
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

本發明公開了一種基于圖像深度的多分支多尺度小目標檢測方法，包括根據雙目圖像訓練集，獲取視差圖訓練集；對視差圖進行深度聚類，每一個聚類結果即為一個分支，將聚類結果映射到雙目圖像中的左圖中，提取出初步候選框；分支提取圖像特征：不同分支進行不同尺度的上采樣操作，獲取不同尺度特征圖像；將不同尺度特征圖像輸入到多尺度特征金字塔網絡中進行特征融合，獲取預測結果；計算分類損失和回歸框損失，結合預測結果，獲取檢測結果。可以有效的識別遠距離小目標，提高了遠距離小目標的檢測在目標檢測中的準確度。

技術領域

本發明涉及目標檢測技術領域，尤其涉及一種基于圖像深度的多分支多尺度小目標檢測方法。

背景技術

在計算機視覺領域中，目標檢測是一個非常活躍的、具有挑戰性的研究方向，與分類任務不同，目標檢測除了需要識別目標的類別以外，還要定位目標的位置，從而實現定位和識別的任務，在很多現實生活中的應用都與它息息相關。

現有的目標檢測方法有二維檢測方法和三維檢測方法，二維檢測方法能提供目標物體在二維圖像中的位置和對應類別的置信度，但是由于其缺乏深度信息，不能判斷物體的遠近距離，難以獲得檢測目標的速度、方向等信息，準確度較低。二維圖像中解決小目標最常用的方法是通過上采樣來調整網絡中輸入圖像的尺寸，但是，圖像金字塔效率較低，因此出現了一些從特征角度出發的工作，導致網絡計算變得較為復雜。三維檢測方法存在以下問題：(1)針對小物體目標的檢測，沒有采用更有效的策略。小目標物體由于攜帶的信息少，因此特征表達能力弱，無法有效的對小目標物體進行準確識別；(2)需要加入一些人工信息，用來彌補缺失的深度信息。這些特定的人工信息以及單一的彩色圖像，會限制場景的擴展以及神經網絡有效地學習三維空間信息；(3)另外，由于三維檢測加入了深度信息，獲取這些特征需要花費更長的時間，增加了檢測時長。

發明內容

本發明主要解決原有的遠距離小目標的檢測在目標檢測中準確度較低的技術問題；提供一種基于圖像深度的多分支多尺度小目標檢測方法，對視差圖進行深度聚類，每一個聚類結果即為一個分支，對不同分支進行不同尺度的圖像特征提取，再在多尺度特征金字塔中進行特征融合，得到預測結果，將預測結果經分類損失和回歸損失優化后得到最終檢測結果，可以有效的識別遠距離小目標，提高了遠距離小目標的檢測在目標檢測中的準確度。

本發明的上述技術問題主要是通過下述技術方案得以解決的：本發明包括下列步驟：

S1、根據雙目圖像訓練集，獲取視差圖訓練集；

S2、對視差圖進行深度聚類，每一個聚類結果即為一個分支，將聚類結果映射到雙目圖像中的左圖中，提取出初步候選框；

S3、分支提取圖像特征：不同分支進行不同尺度的上采樣操作，獲取不同尺度特征圖像；

S4、將不同尺度特征圖像輸入到多尺度特征金字塔網絡中進行特征融合，獲取預測結果；

S5、計算分類損失和回歸框損失，結合預測結果，獲取檢測結果。

對視差圖進行深度聚類，將聚類結果映射到雙目圖像中的左圖中，提取出初步候選框，每一個聚類結果(初步候選框)即為一個分支，對不同分支進行不同尺度的圖像特征提取，再在多尺度特征金字塔中進行特征融合，得到預測結果，將預測結果經分類損失和回歸損失優化后得到最終檢測結果，可以有效的識別遠距離小目標，提高了遠距離小目標的檢測在目標檢測中的準確度。基于視差圖提取初步候選框，能夠消除目標表面紋理對檢測的影響，加快了檢測速度。

作為優選，所述的步驟S2中的對視差圖進行深度聚類，具體包括如下步驟：

S21、根據視差圖中的距離信息，劃分K個深度范圍，并隨機選擇K個深度范圍的初始中心；

S22、將整體視差圖分成若干個小區域，對每個小區域進行如下操作：求小區域到各個深度范圍中心的距離，將小區域歸屬到距離最短的中心所在的深度范圍；