[發明專利]一種基于深度學習的海面船只視頻檢測與跟蹤方法

在審

• 申請號: 201711461818.3
• 申請日: 2017-12-28
• 公開（公告）號: CN108171752A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 王德全;趙世凱;王小勇;陳堅松
• 申請（專利權）人: 成都阿普奇科技股份有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/33;G06T1/20
• 代理公司: 重慶中之信知識產權代理事務所(普通合伙) 50213
• 代理人: 謝毅

1.一種基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，按以下步驟進行：

(1)快速的卷積模型特征提取：通過主干卷積網絡提取目標的特征；采用深度卷積神經網絡自動學取目標船只特征，每一個特征層，都使用一系列的3x3卷積核去提取特征，其中，淺層的卷積層主要提取細節特征，深層的卷積層主要提取抽象的全局輪廓特征，而卷積層之間以下采樣層連接；

(2)多尺度全卷積模型目標定位與分類：利用主干卷積網絡獲取的大量特征，在多尺度卷積層重新整合，構建出尺度遞減的目標特征金字塔網絡，每一層代表不同大小的目標的特征，在這些特征層之間進行融合對比，以確定目標的大小和位置；

(3)全連接前后幀目標跟蹤：在當前幀和前一幀圖像分別通過卷積層提取特征后，選取出目標附近區域的特征，將這些特征級聯并輸入全連接層。

2.根據權利要求1所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，將視頻幀進行歸一化轉化為固定的尺寸作為特征提取模型的輸入，快速的卷積特征提取模型采用18層的卷積神經網絡結構，由多個連續的卷積層間隔池化層組成。

3.根據權利要求2所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，所述多個連續的卷積層間隔池化層組成結構為：卷積層*2-池化層-卷積層*2-池化層-卷積層*3-池化層-卷積層*3-池化層-卷積層*3-池化層。

4.根據權利要求3所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，卷積層采用3*3的卷積核，以步長1卷積上一層輸入數據，然后加上一個偏置b，通過修正線性單元ReLU激活函數將線性變換轉換為非線性變換，Xⁿ＝g(W^TX^n-1+bⁿ)，g(x)＝ReLU(x)＝max(0,x)，其中，n代表第幾層網絡，X為圖像特征，W為卷積核權重，g(x)為激活函數。

5.根據權利要求4所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，所述池化層采用2*2卷積，以步長2卷積上一層輸入數據，采樣方式為最大值采樣，每個池化層將輸入特征圖映射到一個縮小4倍的特征圖。

6.根據權利要求1—5任一項所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，將多尺度全卷積模型獲取的特征金字塔的每一層作為輸出層，設定密度相同的候選框，金字塔頂的候選框對應于原圖像中較大的目標框，金字塔底的候選框對應于原圖像中較小的目標框。

7.根據權利要求6所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，對所述候選框進行Multi-taskloss計算，每個ROI輸出離散概率分布為：p＝(p₀,...,p_k)和boundingbox回歸的位移為其中，k表示類別的索引，參數x、y是指相對于候選目標框尺度不變的平移量，參數w、h是指對數空間中相對于候選目標框的高與寬；損失函數表示為：其中，k^*是真實類別，L_conf是分類損失，L_loc是定位損失，N是與groundtruthbox相匹配的候選框的個數，α為權重；采用softmax函數計算分類損失，把一個k維的realvalue向量映射成一個范圍0-1的常數向量，根據其大小來進行分類；

8.根據權利要求1或7所述基于深度學習的海面船只視頻檢測與跟蹤方法，其特征在于，在已知上一幀物體位置時，當前幀在物體原來所在的位置附近的區域進行搜索，在第t-1幀中，假設目標所在位置為(cx，cy)，其大小為(w，h)，則提取一塊大小為(2w，2h)的圖像塊輸入到CNN中；在第t幀中，同樣也以(cx，cy)為中心，提取大小為(2w，2h)的圖像塊，輸入到CNN中；全連接層學習到的是一個復雜的特征比較函數，輸出目標的相對運動，隨后全連接層的輸出被連接到一個4節點的層，分別代表bounding-box左上角坐標和目標長寬，從而輸出目標的位置。