[發明專利]一種船舶視頻檢測樣本采集方法

在審

• 申請號: 202011124369.5
• 申請日: 2020-10-20
• 公開（公告）號: CN112164097A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 沈昌力;滿青珊;隋遠;朱德理;沈寬寬
• 申請（專利權）人: 南京萊斯網信技術研究院有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 于瀚文;胡建華

本發明提供了一種船舶視頻檢測樣本采集方法，包括視頻船舶目標檢測方法；船舶目標跟蹤方法；運動目標檢測方法；樣本采集策略。本發明能夠自動從海事CCTV監控視頻拍攝的實時視頻和歷史錄像視頻中采集高質量的船舶目標數據集，為基于深度學習的船舶目標檢測提供數據支撐，在目標檢測的過程中積累數據，不斷提高深度學習的效果。

技術領域

本發明屬于船舶CCTV視頻智能監控領域，具體涉及一種船舶視頻檢測樣本采集方法。

背景技術

近年來，隨著深度學習算法在船舶視頻目標檢測領域的應用，檢測精度和效果都遠超過去基于模板匹配、運動檢測、傳統機器學習等方法，但是深度學習目標檢測的效果是建立在大量訓練數據基礎上的。海事領域應用深度學習進行船舶目標檢測目前還處于起步階段，沒有足夠的船舶檢測數據集，公開的通用數據集如COCO、VOC、CIFAR，其中船舶的圖片與海事監管中船舶的圖片相差較大，直接拿來訓練在實際檢測中的效果達不到要求。因此需要在海事CCTV視頻監控系統的采集專用的船舶檢測數據集，但在海量的監控視頻中采集什么樣的圖片作為數據集依然是一個難題。

發明內容

發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供一種船舶視頻檢測樣本采集方法，結合視頻船舶目標檢測、船舶目標跟蹤、運動目標檢測的輸出，樣本采集策略融合三者的輸出結果，判斷當前視頻幀是否需要采集。

所述的視頻船舶目標檢測包括使用海事CCTV監控視頻拍攝的實時視頻和歷史錄像視頻，使用深度學習方法，如YOLO、SSD、FastRCNN等檢測視頻中的船舶目標，輸出目標的檢測矩形框信息(位置信息、大小信息、類別信息、置信度)。

所述的船舶目標跟蹤根據船舶目標檢測的輸出，對視頻中所有船舶目標進行跟蹤，輸出船舶目標的跟蹤矩形框信息(位置信息、大小信息、類別信息、跟蹤匹配結果、跟蹤ID)。

所述的運動目標檢測包括使用海事CCTV監控視頻拍攝的實時視頻和歷史錄像視頻，對視頻中的運動目標進行檢測，輸出運動目標的矩形框信息(位置信息、大小信息)。

所述的樣本采集策略包括使用海事CCTV監控視頻拍攝的實時視頻和歷史錄像視頻，判斷視頻流中哪些幀需要采集，采集的一幀視頻為一張圖片，采集后形成多張圖片組成的船舶圖片數據集，為深度學習提供數據支撐。

為了實現上述目的，本發明具體步驟如下：

步驟1、視頻船舶目標檢測：基于深度學習方法，在海事CCTV視頻中檢測出船舶，輸出船舶目標的外接矩形框信息；

步驟2、船舶目標跟蹤：跟蹤檢測到的船舶目標，即判斷當前幀的目標與上一幀的目標是否為同一目標，輸出匹配的跟蹤目標、消失目標；

步驟3、運動目標檢測：采用背景差分的方法，檢測視頻中的運動目標，輸出目標的外接矩形信息；

步驟4，樣本采集策略：結合步驟2和步驟3的輸出信息，判斷當前視頻幀的檢測效果，當檢測效果不滿足要求且離上一次采集時間間隔超過閾值時，采集當前視頻幀作為船舶圖片樣本集。

步驟1包括：

步驟1-1，預處理：從海事CCTV實時監控視頻或錄像視頻中采集視頻幀，對視頻幀進行縮放和歸一化處理；

步驟1-2，將預處理后的視頻幀送入船舶目標檢測深度網絡進行計算(深度網絡需要通過大量的船舶圖片樣本進行訓練)，計算結果為檢測框，包括框的中心坐標和長、寬，置信度，框所屬的類別以及類別置信度

步驟1-3，根據設定的閾值，剔除檢測框置信度和類別置信度低于閾值的輸出框，然后通過非極大值抑制(抑制檢測框置信度不是極大值的元素)刪除重合的框，輸出最終的船舶目標檢測框；

步驟2包括：