[發明專利]一種基于YOLO V5算法的船舶多目標追蹤方法

有效

• 申請號: 202110543673.1
• 申請日: 2021-05-19
• 公開（公告）號: CN113269073B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 王曉原;何國文;王文龍;豆志偉;王剛;王全政
• 申請（專利權）人: 青島科技大學
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V10/764;G06V10/774;G06V10/74;G06V10/80;G06V10/82;G06N3/08
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 劉靜

1.一種基于YOLO V5算法的船舶多目標追蹤方法，其特征在于：包括以下步驟：

S1，采集船舶圖像數據，對采集到的所述船舶圖像數據進行圖像預處理，基于預處理完畢的圖像構建數據集，將所述數據集劃分為訓練集、驗證集和測試集；

S2，基于所述訓練集和所述驗證集，對YOLO V5網絡進行訓練，獲得YOLO V5檢測模型，基于所述測試集對所述YOLO V5檢測模型進行測試，獲得測試結果，基于所述測試結果對YOLO V5檢測模型進行評價，評價合格后則結束測試；

所述YOLO V5網絡包括backbone部分、neck部分和prediction部分，在所述S2中，獲得所述YOLO V5檢測模型的方法具體為：

S2.1，將訓練集中的圖像進行標準化預處理，并將預處理后的圖像輸入所述backbone部分，獲得不同尺度的特征圖；

S2.2，將所述不同尺度的特征圖輸入所述neck部分，進行上采樣和特征融合后獲得不同尺度的張量數據；

S2.3，將所述不同尺度的張量數據輸入所述prediction部分，基于損失函數及反向傳播對梯度進行計算，實時進行梯度更新并利用所述驗證集進行驗證，獲得所述YOLO V5檢測模型；

S3，對所述YOLO V5檢測模型進行處理，生成YOLO V5船舶追蹤模型，基于所述YOLO V5船舶追蹤模型對船舶進行追蹤并進行實時性驗證；

所述S3中對所述YOLO V5檢測模型進行處理的方法具體為：采用DeepSort算法進行處理；所述S3中的方法：

S3.1，對所有待追蹤目標進行檢測，完成檢測后構建DeepSort跟蹤器，對所述YOLO V5船舶追蹤模型輸入帶有船舶的視頻幀并進行處理；

S3.2，處理完畢且第一幀視頻圖像輸入所述YOLO V5船舶追蹤模型后，將檢測到的目標初始化并創建新的所述DeepSort跟蹤器，標注ID；

S3.3，第一幀后的任一幀輸入所述YOLO V5船舶追蹤模型時，基于所述DeepSort算法，獲得所有目標的狀態預測和當前幀的所述檢測框的交并比，并獲得所述交并比的最大唯一匹配，作為目標檢測框；

S3.4，基于置信度對所述檢測框進行過濾，刪除置信度不夠高的檢測框及特征，基于所述當前幀匹配到的所述目標檢測框更新所述DeepSort跟蹤器，計算狀態更新，獲得更新值并輸出，將所述更新值作為所述當前幀的追蹤框；

若所述當前幀中沒有匹配到的目標，則重新初始化所述DeepSort跟蹤器：DeepSort將檢測器輸出的預測框作為輸入，獲取檢測框的特征并進行特征的提取，根據實際需求以及當前計算資源設定合適的檢測窗口大小；

預測當前狀態和不確定性，使用卡爾曼濾波創建目標的觀測模型對每條軌跡進行狀態預測；對每一個軌跡，計算當前幀距離上次匹配成功幀的差值，基于上一時刻的狀態對當前時刻的狀態和不確定性進行預測；更新軌跡的計數器，每預測一次，該計數器加1，如果后續該軌跡成功匹配了檢測結果，該計數器清零、同時對計數器設定一個上限，當超過上限值時，當前軌跡刪除，認定跟蹤目標離開畫面；計數器表示這條軌跡連續多少次未和檢測結果匹配，用于判斷此條軌跡是否離開了畫面；如果檢測結果沒有和現有的軌跡匹配上，將這個檢測結果初始化成一個新的軌跡，設定為不確定性，若連續幾幀匹配成功，狀態更新為確定性狀態；若未匹配上檢測結果，變為刪除狀態，軌跡集合中刪除；

更新匹配結果，追蹤器保存所有的軌跡，每一次的檢測目標與生成的軌跡通過匹配進行關聯，通過求解的代價矩陣進行關聯匹配，完成檢測結果的分配問題；通過計算特征距離，接著計算馬氏距離以及進行門控閾值控制，得到最終的代距離得到的代價矩陣，通過特征匹配以及門控矩陣，對丟失時間較短的目標優先進行匹配；使用協方差距離或者余弦距離計算檢測目標與軌跡的相似度，通過距離度量軌跡的表觀特征與檢測結果的表觀特征，來更加準確預測ID，在余弦距離小于閾值的時候認為匹配成功；使用匈牙利算法進行目標匹配，并將當前所有軌跡根據匹配結果進行刪除、匹配、暫定三個狀態的分類；

輸出結果，狀態為confirmed的軌跡的location及其軌跡id；在DeepSort中的軌跡即不同的目標對象，不區分類別；輸出confirmed的軌跡，軌跡轉換為confirmed條件是需要連續幀使用IOU匹配策略匹配檢測結果。