[發明專利]一種基于深度學習的海面船只視頻檢測與跟蹤方法

在審

• 申請號: 201711461818.3
• 申請日: 2017-12-28
• 公開（公告）號: CN108171752A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 王德全;趙世凱;王小勇;陳堅松
• 申請（專利權）人: 成都阿普奇科技股份有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/33;G06T1/20
• 代理公司: 重慶中之信知識產權代理事務所(普通合伙) 50213
• 代理人: 謝毅

本發明公布了一種基于深度學習的海面船只視頻檢測與跟蹤方法，(1)卷積模型特征提取：采用深度卷積神經網絡自動學取目標船只特征，每個特征層都使用一系列的3x3卷積核去提取特征，淺層的卷積層主要提取細節特征，深層的卷積層主要提取抽象的全局輪廓特征；(2)多尺度全卷積模型目標定位與分類：利用主干卷積網絡獲取的大量特征，在多尺度卷積層重新整合，構建出尺度遞減的目標特征金字塔網絡，每一層代表不同大小的目標特征，特征層之間進行融合對比；(3)全連接前后幀目標跟蹤：當前幀和前一幀圖像分別通過卷積層提取特征后選取出目標附近區域的特征，將這些特征級聯并輸入全連接層。本發明有效地確保了船只檢測與跟蹤的實時性和穩定性。

技術領域

本發明屬于海面船只視頻檢測與跟蹤技術領域，尤其涉及一種海面船只視頻檢測與跟蹤的方法。

背景技術

基于圖像傳感器獲得的海面可見光或紅外圖像的目標檢測在海防安全有廣泛應用。檢測區域限定在近岸或者從海上某點出發的可視距離內，海面運動載體和海上浮標均可作為很好的系統部署地點。

傳統的視頻圖像海面目標檢測方法主要有基于boosting框架的弱分類器級聯方法和基于支持向量機的目標匹配方法。但這些方法的特征表達能力有限，無法應對海面船只外形的變化多樣、船只在視頻中出現的角度大小的變化、不同天氣條件下的光照變化、紅外圖像相對可見光較差的成像效果等。因此對目標的漏檢和誤檢情況嚴重。

另一方面，監控視頻通常要求高實時性和高清晰度，然而，這兩方面是此消彼長的關系。高清視頻圖像的分辨率為1920*1080，這樣的輸入圖像，傳統的基于滑動窗口的目標檢測方法將會產生百萬級的候選檢測窗口，耗時嚴重，無法做到實時。

發明內容

本發明的目的在于解決上述技術問題，提供一種基于深度學習的海面船只視頻檢測與跟蹤方法，采用基于深度學習卷積神經網絡的方法對視頻圖像中的船只進行檢測與跟蹤并利用GPU進行高并行計算，以確保實時性和穩定性。

本發明的技術方案如下：

一種基于深度學習的海面船只視頻檢測與跟蹤方法，按以下步驟進行：

(1)快速的卷積模型特征提取：通過主干卷積網絡提取目標的特征；采用深度卷積神經網絡自動學取目標船只特征，每一個特征層，都使用一系列的3x3卷積核去提取特征，其中，淺層的卷積層主要提取細節特征，深層的卷積層主要提取抽象的全局輪廓特征，而卷積層之間以下采樣層連接；

(2)多尺度全卷積模型目標定位與分類：利用主干卷積網絡獲取的大量特征，在多尺度卷積層重新整合，構建出尺度遞減的目標特征金字塔網絡，每一層代表不同大小的目標的特征，在這些特征層之間進行融合對比，以確定目標的大小和位置；

(3)全連接前后幀目標跟蹤：在當前幀和前一幀圖像分別通過卷積層提取特征后，選取出目標附近區域的特征，將這些特征級聯并輸入全連接層。

進一步地，將視頻幀進行歸一化轉化為固定的尺寸作為特征提取模型的輸入，快速的卷積特征提取模型采用18層的卷積神經網絡結構，由多個連續的卷積層間隔池化層組成。

進一步地，所述多個連續的卷積層間隔池化層組成結構為：卷積層*2-池化層-卷積層*2-池化層-卷積層*3-池化層-卷積層*3-池化層-卷積層*3-池化層。

進一步地，卷積層采用3*3的卷積核，以步長1卷積上一層輸入數據，然后加上一個偏置b，通過修正線性單元ReLU激活函數將線性變換轉換為非線性變換，，，其中，n代表第幾層網絡，X為圖像特征，W為卷積核權重，g(x)為激活函數。

進一步地，所述池化層采用2*2卷積，以步長2卷積上一層輸入數據，采樣方式為最大值采樣，每個池化層將輸入特征圖映射到一個縮小4倍的特征圖。