[發明專利]一種基于深度學習的實時多尺度密集目標檢測方法

有效

• 申請號: 202010782530.1
• 申請日: 2020-08-06
• 公開（公告）號: CN111950423B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 陳初杰;眭海剛;毛泉涌;劉立輝;張永晉;程球;杜鑫
• 申請（專利權）人: 中國電子科技集團公司第五十二研究所;武漢大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/52;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于深度學習的實時多尺度密集目標檢測方法，其特征在于，所述的基于深度學習的實時多尺度密集目標檢測方法，包括：

步驟1：構建HikNet-LMS目標檢測網絡；

所述HikNet-LMS目標檢測網絡包括基礎網絡結構和雙向多尺度特征融合結構，其中基礎網絡結構從輸入側到輸出側包括依次連接的卷積層、第一CNN結構、第二CNN結構、HRFB網絡結構、第三CNN結構、HRFB網絡結構、第四CNN結構、HRFB網絡結構、第五CNN結構，所述第三CNN結構、第四CNN結構、第五CNN結構的輸出作為雙向多尺度特征融合結構的輸入，所述雙向多尺度特征融合結構的輸出作為目標檢測結果；

其中，所述HRFB網絡結構以Previous Layer網絡的輸出作為輸入，通過三個并排分支結構，其中第一分支包括卷積核為1x1的卷積層，第二分支包括依次連接的卷積核為1x1的卷積層、卷積核為3x3，rate為1的dilated卷積層、卷積核為3x3，rate為1的dilated卷積層，第三分支包括依次連接的卷積核為1x1的卷積層和卷積核為3x3，rate為1的dilated卷積層，最后將這三個分支的輸出進行Concat，再通過ReLU激活輸出；

步驟2：利用訓練數據集對所述HikNet-LMS目標檢測網絡訓練至收斂；

步驟3：利用訓練后的HikNet-LMS目標檢測網絡對輸入的視頻圖像進行多尺度密集目標檢測，輸出目標檢測結果進行實時展示。

2.如權利要求1所述的基于深度學習的實時多尺度密集目標檢測方法，其特征在于，所述第一CNN結構包括依次連接的一個SepConv(k3x3)網絡結構和一個MBConv2(k3x3)網絡結構；

所述第二CNN結構包括依次連接的一個SepConv(k3x3)網絡結構和兩個MBConv2(k3x3)網絡結構；

所述第三CNN結構包括依次連接的一個SepConv(k3x3)網絡結構和八個MBConv2(k3x3)網絡結構；

所述第四CNN結構包括依次連接的一個SepConv(k3x3)網絡結構和八個MBConv2(k3x3)網絡結構；

所述第五CNN結構包括依次連接的一個SepConv(k3x3)網絡結構和四個MBConv2(k3x3)網絡結構。

3.如權利要求2所述的基于深度學習的實時多尺度密集目標檢測方法，其特征在于，所述SepConv(k3x3)網絡結構先通過深度可分卷積操作，批處理歸一化，再通過激活函數ReLU后輸出到卷積核為1x1的卷積層，獲取特定的特征圖數量；

所述MBConv2(k3x3)網絡結構先對輸入特征圖進行卷積核為1x1的卷積操作，然后進行深度可分卷積操作，批處理歸一化，再使用激活函數ReLU進行激活操作，輸出特征圖數量為輸入特征圖數量的2倍，最后再由一層卷積核為1x1的卷積操作獲取特定的特征圖數量。

4.如權利要求1所述的基于深度學習的實時多尺度密集目標檢測方法，其特征在于，所述雙向多尺度特征融合結構包括一個或多個級聯的HikFPN網絡單元，所述HikFPN網絡單元包括三個層次分支，多個HikFPN網絡單元級聯時各層次分支對應連接；

其中，第一層次分支與第三CNN結構的輸出相連，所述第一層次分支的輸入P1_in，經過卷積核為3x3的卷積層，再與第二層次分支的中間結果P2_out1相加，再經過卷積核為3x3的卷積層輸出，記為P1_out；

其中，第二層次分支與第四CNN結構的輸出相連，所述第二層次分支的輸入P2_in，與經過上采樣操作以后的第三層次分支的輸入加權相加，再經過卷積核為3x3的卷積層，輸出中間結果P2_out1；P2_out1再與第二層次分支的輸入P2_in以及第一層次輸出P1_out加權相加，作為最終的第二層次輸出，記為P2_out2；

其中，第三層次分支與第五CNN結構的輸出相連，所述第三層次分支的輸入P3_in，經過卷積核為3x3的卷積層，再與第二層次分支的輸出P2_out2相加，再經過卷積核為3x3的卷積層輸出，記為P3_out。