[發明專利]一種基于深度學習的視頻圖像小目標檢測方法

有效

• 申請號: 202110345772.9
• 申請日: 2021-03-31
• 公開（公告）號: CN112966659B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 邱雁成;鄒勤
• 申請（專利權）人: 北灣科技（武漢）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的視頻圖像小目標檢測方法，包含以下步驟：

步驟S1，制作訓練樣本構建數據集，所述數據集中的目標具有大中小三種不同尺度，且框出該目標；

步驟S2，構建神經網絡檢測模型，該模型分為三部分：基礎特征提取模塊，特征融合模塊、方框檢測模塊，其中，在基礎特征提取模塊之后，網絡分成了三個分支，每個分支包含獨立的特征融合模塊和方框檢測模塊，三個分支分別檢測不同尺度的目標；

所述特征融合模塊分為三個分支，每個分支選取特定的基礎特征融合得到單層特征；其中小尺度分支以自頂向下的方式融合，中尺度分支以自底向上的方式融合，大尺度分支以自底向上的方式融合；

所述方框檢測模塊接收特征融合模塊輸出的融合特征，檢測每個分支范圍內的待檢測目標；檢測模塊接收融合特征后，分別輸入4個卷積網絡，輸出4個張量；第一個網絡輸出的張量表示目標的中心點熱力圖；第二個網絡輸出的張量表示目標的中心點量化補償；第三個網絡輸出的張量表示目標的方框寬高值；第四個網絡輸出的張量表示目標的方框姿態；融合方框的寬高值和方框姿態得到傾斜矩形框的坐標；

步驟S3，構建層次化多尺度訓練機制，使用S1構建的數據集對步驟S2構建的檢測模型進行訓練，該訓練機制使S2所構建的模型中各尺度分支互相獨立、互不影響地預測各自尺度范圍內的目標；

步驟S4，利用步驟S3訓練好的模型在視頻圖像中檢測目標。

2.根據權利要求1所述的方法，其特征在于：所述步驟S1中不同尺度包括大中小三種尺度，其中大尺度為目標像素大于90×90；小尺度為目標像素小于30×30，中尺度介于小尺度和大尺度之間；目標以傾斜矩形框的方式標注出來。

3.根據權利要求1所述的方法，其特征在于：步驟S2構建的神經網絡檢測模型具體如下：

步驟S2-1，基礎特征提取模塊由深度卷積網絡以殘差堆疊的方式構成，使用深度卷積網絡作為基礎特征提取模塊的網絡結構；依次選擇經過四次池化操作的卷積輸出作為特征層；選擇這4個基礎卷積特征構成基礎特征金字塔，作為基礎特征提取模塊的輸出；

步驟S2-2，特征融合模塊分為三個分支，每個分支選取特定的基礎特征融合得到單層特征；若S2-1中四次池化后的分辨率分別為C2、C3、C4和C5，則小尺度分支選取C3、C4、C5以自頂向下的方式融合，再經過3層轉置卷積；中尺度分支選取C2、C3、C4以自底向上的方式融合，再經過2層轉置卷積；大尺度分支選取C3、C4、C5以自底向上的方式融合，再經過2層轉置卷積；

步驟S2-3，方框檢測模塊接收特征融合模塊輸出的融合特征，輸出為傾斜矩形框的坐標；

步驟S2-4，每個尺度分支預測各自尺度范圍內的目標，在訓練時，模型計算過程到此結束；在測試時，將三個尺度分支的預測結果合并，使用非極大值抑制算法去除重復的預測框。

4.根據權利要求3所述的方法，其特征在于：自頂向下融合過程為，首先基礎特征經過1×1卷積得到中間特征，從最深層的中間特征開始，分辨率放大2倍與下一層的中間特征逐元素相加，由深至淺漸次傳遞，在最淺層經過3×3卷積得到融合特征；而自底向上融合過程為，首先基礎特征也要經過1×1卷積得到中間特征，相反的是從最淺層的中間特征開始，分辨率放大2倍與上一層的中間特征逐元素相加，由淺至深漸次傳遞，在最深層經過3×3卷積得到融合特征。

5.根據權利要求1所述的方法，其特征在于：所述步驟S2所構建的神經網絡參數的訓練方法如下：

將訓練數據的標注分為三組，分表為小尺度、中尺度、大尺度的目標的標注；小尺度檢測分支輸入的融合特征分辨率為H×W，小尺度目標訓練標簽的坐標保持不變；中尺度分支的分辨率為，中尺度目標訓練標簽的坐標縮小為；大尺度分支的分辨率為，大尺度目標訓練標簽的坐標縮小為。