[發明專利]多視圖目標跟蹤方法、裝置、系統、電子終端、及存儲介質

在審

• 申請號: 201910284993.2
• 申請日: 2019-04-10
• 公開（公告）號: CN111815670A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 吳旻燁;畢凝
• 申請（專利權）人: 曜科智能科技（上海）有限公司
• 主分類號: G06T7/207
• 分類號: G06T7/207;G06T7/246
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本申請提供多視圖目標跟蹤方法、裝置、系統、電子終端、及存儲介質，所述方法包括：根據被跟蹤目標在歷史幀圖像中的位置信息和邊界框信息，提取當前幀圖像的特征圖像；對特征圖像進行濾波處理以獲取相應的得分圖；根據得分圖判斷當前幀圖像是否存在遮擋；其中，在判斷所述當前幀圖像不存在遮擋的情況下，利用網格搜索法和多尺寸搜索法確定所述被跟蹤目標在當前幀圖像中的位置信息；在判斷所述連續特征圖像存在遮擋的情況下，基于軌跡預測網絡預測被跟蹤目標在當前幀圖像中的位置信息。申請建立端對端的特征提取網絡，提取圖像特征，訓練相關濾波器，并利用軌跡預測網絡解決圖像遮擋問題，形成適用于單對象目標的反遮擋的穩健型目標跟蹤解決方案。

技術領域

本申請涉及計算機視覺、目標跟蹤領域，特別是涉及多視圖目標跟蹤方法、裝置、系統、電子終端、及存儲介質。

背景技術

一般的視覺對象跟蹤是大規模計算機視覺任務中的基本問題之一，在這個問題集中，跟蹤器用一個邊界框跟蹤對象，該邊界框在初始幀中給出，并在接下來的連續幀中使用。視覺對象跟蹤在各種應用場景中起著重要作用，例如自動駕駛系統，光場相機陣列監控、以及體育賽事中的運動員跟蹤。而跟蹤的關鍵挑戰是如何在遮擋、光照變化、變形、運動模糊等不同情況下準確有效地定位目標。

根據跟蹤器和目標的數量，跟蹤任務通常分為四類，即單視圖單對象跟蹤(Single-view Single-object，SVSO)、多視圖單對象跟蹤(Multi-view Single-object，MVSO)、單視圖多對象跟蹤(Single-view Multi-object，SVMO)和多視圖多對象跟蹤(Multi-view Multi-object，MVMO)。

單視圖跟蹤通常有一個直觀的管道，但容易受到遮擋的影響。大多數現有的多對象跟蹤器通常只跟蹤一類特定的對象，比如行人、車輛，這些對象還沒有擴展到通用對象，沒法實現反遮擋的穩健的對象跟蹤。

申請內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供多視圖目標跟蹤方法、裝置、系統、電子終端、及存儲介質，用于解決現有技術中的問題。

為實現上述目的及其他相關目的，本申請的第一方面提供一種多視圖目標跟蹤方法，其包括：根據被跟蹤目標在歷史幀圖像中的位置信息和邊界框信息，提取當前幀圖像的特征圖像；對所述特征圖像進行濾波處理以獲取相應的得分圖；根據所述得分圖判斷當前幀圖像是否存在遮擋；其中，在判斷所述當前幀圖像不存在遮擋的情況下，利用網格搜索法和多尺寸搜索法確定所述被跟蹤目標在當前幀圖像中的位置信息；在判斷所述連續特征圖像存在遮擋的情況下，基于軌跡預測網絡預測所述被跟蹤目標在當前幀圖像中的位置信息。

于本申請的第一方面的一些實施例中，所述根據被跟蹤目標在歷史幀圖像中的位置信息和邊界框信息，提取當前幀圖像的特征圖像，其步驟包括：根據被跟蹤目標在上一幀圖像中的位置信息和邊界框信息，對當前幀圖像基于多種裁剪尺寸進行裁剪，并利用FHOG描述子和深度網絡生成不同分辨率的離散的特征圖像；利用插值模型將所述離散的特征圖像映射至連續空間，以獲得經插值模型統一和變換后的連續的特征圖像。

于本申請的第一方面的一些實施例中，所述得分圖通過利用卷積分解算子在所述當前幀圖像的特征圖像上進行濾波所獲得；所述得分圖的最大值用于判斷當前幀圖像是否存在遮擋；在判斷所述當前幀圖像不存在遮擋的情況下，將當前幀圖像加入用于訓練所述相關濾波器的訓練樣本集。

于本申請的第一方面的一些實施例中，所述方法包括：通過建立訓練樣本圖像與目標圖像之間的最小化目標函數來訓練所述相關濾波器。

于本申請的第一方面的一些實施例中，所述方法包括：從所述訓練樣本集中選取多對訓練對，以形成用于訓練所述相關濾波器的第一訓練對集合和第二訓練對集合，其步驟包括：利用所述第一訓練對集合并根據目標函數訓練所述相關濾波器；利用所述第二訓練對集合并根據通過高斯-牛頓迭代法和共軛梯度法優化后的所述目標函數訓練所述相關濾波器。