[發明專利]一種船舶視頻檢測樣本采集方法

在審

• 申請號: 202011124369.5
• 申請日: 2020-10-20
• 公開（公告）號: CN112164097A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 沈昌力;滿青珊;隋遠;朱德理;沈寬寬
• 申請（專利權）人: 南京萊斯網信技術研究院有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 于瀚文;胡建華

1.一種船舶視頻檢測樣本采集方法，其特征在于，包括以下步驟；

步驟1、視頻船舶目標檢測：在海事CCTV視頻中檢測出船舶，輸出船舶目標的外接矩形框信息；

步驟2、船舶目標跟蹤：跟蹤檢測到的船舶目標，即判斷當前幀的目標與上一幀的目標是否為同一目標，輸出匹配的跟蹤目標、消失目標；

步驟3、運動目標檢測：檢測視頻中的運動目標，輸出目標的外接矩形信息；

步驟4，樣本采集策略：結合步驟2和步驟3的輸出信息，判斷當前視頻幀的檢測效果，當檢測效果不滿足要求且離上一次采集時間間隔超過閾值時，采集當前視頻幀作為船舶圖片樣本集。

2.根據權利要求1所述的方法，其特征在于，步驟1包括：

步驟1-1，預處理：從海事CCTV實時監控視頻或錄像視頻中采集視頻幀，對視頻幀進行縮放和歸一化處理；

步驟1-2，將預處理后的視頻幀送入船舶目標檢測深度網絡進行計算，計算結果為檢測框，包括框的中心坐標和長、寬，置信度，框所屬的類別以及類別置信度；

步驟1-3，根據設定的閾值，剔除檢測框置信度和類別置信度低于閾值的輸出框，然后通過非極大值抑制刪除重合的框，輸出最終的船舶目標檢測框。

3.根據權利要求2述的方法，其特征在于，步驟2包括：

步驟2-1，初始化跟蹤目標：對于新的船舶目標檢測框，初始化跟蹤目標的卡爾曼濾波狀態空間矩陣、協方差矩陣；

步驟2-2，預測目標檢測框：使用卡爾曼濾波，基于跟蹤目標在t-1時刻的狀態X來預測其在t時刻的狀態X′，計算公式為X′＝FX，F為狀態空間轉移矩陣，并更新協方差矩陣S′＝FS+Q，Q為噪聲矩陣，Q＝diag[Wh，Wh，0.1，Wh]，W為噪聲權重，h為步驟1-2中檢測框的高；

步驟2-3，目標深度特征提取：使用深度特征提取網絡分別提取所有檢測目標和跟蹤目標的128維特征向量，網絡特征通過標注的船舶跟蹤目標訓練得到；

步驟2-4，進行目標匹配。

4.根據權利要求3述的方法，其特征在于，步驟2-4包括：

根據如下公式計算跟蹤預測目標i和檢測目標j的128維深度特征之間的余弦距離d₁(i，j)：

b₁(i，j)＝1[d₁(i，j)≤t₁]

其中，R_i為跟蹤預測目標i的歷史預測關聯框序列，t₁是設定的閾值，b₁(i，j)為跟蹤預測i和檢測目標j的圖像相似度0-1二值化計算結果，如果跟蹤預測i和檢測目標j的深度特征余弦距離小于閾值t₁，b₁(i，j)置為1；

根據如下公式計算跟蹤預測i和檢測目標j的運動相似度d₂(i，j)：

b₂(i，j)＝1[d₂(i，j)≤t₂]

其中，x_j為檢測目標j的狀態特征，y_i為跟蹤預測i的狀態特征，S_i為跟蹤預測i的協方差矩陣，t₂是設定的閾值，b₂(i，j)為跟蹤預測i和檢測目標j的運動相似度0-1二值化計算結果；

跟蹤預測i和檢測目標j的最終相似度d(i，j)為：

d(i，j)＝αd₁(i，j)+(1-α)d₂(i，j)

其中，α是設定的閾值，d(i，j)最小且b(i，j)不等于0的跟蹤預測i和檢測目標j為確認跟蹤目標Track_i，沒有匹配到的跟蹤預測標記為疑似消失目標，沒有匹配到的檢測目標標記為疑似新目標；跟蹤預測i連續I幀標記疑似消失目標，則加入標記為消失目標U_i，檢測目標j連續J幀標記疑似新目標，則設為新目標。