[發(fā)明專利]一種用于視頻中船舶目標跟蹤的方法

在審

• 申請?zhí)枺?/td>: 202110086344.9
• 申請日: 2021-01-22
• 公開（公告）號: CN112767445A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設計）人: 王捷;陳婧雪
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

本發(fā)明公開了一種用于視頻中船舶目標跟蹤的方法，在一個實施例中，針對水面監(jiān)控視頻中船舶跟蹤設計包括如下步驟：使用基于深度學習的檢測器產(chǎn)生當前幀的船舶目標框和船舶類別，使用triplet loss訓練的卷積神經(jīng)網(wǎng)絡提取目標框內(nèi)特征；計算當前幀的檢測和現(xiàn)存軌跡的類別代價；計算當前幀的檢測和現(xiàn)存軌跡的深度特征代價；計算當前幀的檢測和現(xiàn)存軌跡預測位置代價；計算當前幀的目標框與軌跡預測目標框的交并比代價；使用上述四種代價對當前幀的檢測與現(xiàn)存軌跡進行匹配；對未能與現(xiàn)存軌跡匹配上的檢測生成新軌跡，刪去持續(xù)一定次數(shù)仍未能與檢測匹配上的軌跡。具有結合多種特征、充分考慮船舶跟蹤中運動遮擋狀態(tài)的優(yōu)點。

技術領域

本發(fā)明涉及一種用于視頻中船舶目標跟蹤技術，屬于船舶交通監(jiān)管技術領域。

背景技術

目前的船舶交通管理系統(tǒng)(VTS)主要是依靠AIS和雷達進行船舶的跟蹤。但是目前這兩種傳感器依然存在一定的缺陷。A類AIS僅在載重300噸及以上的船舶中規(guī)定安裝，因此容易造成中小型船舶的漏檢，且根據(jù)船舶運動狀態(tài)的變化，信息更新速率從2s～3min不等，信息更新速率較慢。雷達受海浪雜波、雨雪天氣的影響較大，且距離誤差較大，IMO規(guī)定船用雷達的測距誤差不能超過最大量程的1.5％且不能超過70m，雷達信息更新速率為2s～4s。而VTS中的高清攝像頭能夠采集豐富的信息，且具有信息更新速率遠大于AIS和雷達的優(yōu)點。結合攝像機標定技術，攝像頭也能夠像AIS與雷達一樣給出地平線上目標的真實世界坐標。隨著視頻處理技術的發(fā)展，現(xiàn)在的圖像識別技術已經(jīng)能夠快速準確地檢測到視頻幀的船舶并生成目標框和標簽，但是傳統(tǒng)的基于Kalman濾波器的跟蹤方法只能利用目標的位置信息，不能充分利用視頻提供的信息，因此有必要為視頻船舶設計一種準確的跟蹤方案。

發(fā)明內(nèi)容

技術問題：鑒于傳統(tǒng)的基于Kalman濾波器的跟蹤方法不能充分利用視頻所提供的信息，因本發(fā)明的目的是為船舶視頻提供一種能夠充分利用視頻信息，達到高準確率的船舶跟蹤方法。

技術方案：為了實現(xiàn)以上目的，本發(fā)明采用如下技術方案：

得到當前視頻幀的船舶目標數(shù)目N及各目標對應的檢測框和標簽，并用訓練好的卷積神經(jīng)網(wǎng)絡分別提取每個檢測的深度特征；對于N個目標和現(xiàn)存的M個軌跡，計算每一個檢測-軌跡對的匹配代價作為代價矩陣，其中代價矩陣由標簽代價、深度特征代價、位置代價和交并比代價構成，代價矩陣初始化為一個全為NaN的N*M矩陣，用余弦距離計算檢測-軌跡對的標簽代價，對于標簽代價小于閾值的檢測-軌跡對計算深度特征代價，對于深度特征代價小于閾值的檢測-軌跡對計算位置代價，代價矩陣相應位置更新為三種代價之和；對于上述三種代價有任一種大于閾值的軌跡-檢測對計算帶閾值的交并比代價，代價矩陣相應位置更新為帶閾值的交并比代價；根據(jù)代價矩陣，用全局最近鄰進行目標與軌跡匹配；對于所有的現(xiàn)存軌跡，使用Kalman濾波器預測它們下一幀的狀態(tài)。

作為一種優(yōu)選實施方式，Kalman濾波器可以替換為具有恒定加速度的EKF。

有益效果：和以往基于Kalman濾波器的跟蹤方式相比，本發(fā)明充分利用了視頻所能夠提供的信息，包括船舶的標簽信息、船舶目標的深度特征信息和船舶目標的位置信息，并且對用于匹配的每一種代價都設置相應的閾值，對超過閾值的檢測-軌跡對計算交并比，有效的防止錯誤匹配，以及運動遮擋時冗余軌跡的產(chǎn)生。

附圖說明

圖1是根據(jù)本發(fā)明實施例的流程圖；

圖2是代價矩陣的計算流程圖；

圖3是標簽代價；

圖4是提取目標深度特征的卷積神經(jīng)網(wǎng)絡結構；

圖5是傳統(tǒng)的基于Kalman的跟蹤方法的結果；

圖6是本申請的方案得到的跟蹤結果。

具體實施方式

下面結合附圖對本發(fā)明的技術方案作進一步說明。