[發明專利]多目標實時跟蹤方法及其系統和電子設備

有效

• 申請號: 202010045588.8
• 申請日: 2020-01-16
• 公開（公告）號: CN113129333B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 孫俊;蔣坤君;謝森棟
• 申請（專利權）人: 舜宇光學（浙江）研究院有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;H04N7/20
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 賀才杰

一種多目標實時跟蹤方法及其系統和電子設備。該多目標實時跟蹤方法包括步驟：在第一線程中，通過光流法根據被跟蹤物體在視頻流的上一幀圖像中的位置計算該被跟蹤物體在該視頻流的當前幀圖像中的位置，以獲得在該當前幀圖像中跟蹤到的每個該被跟蹤物體的身份標識；在第二線程中，通過訓練好的基于深度學習的目標檢測模型對該視頻流中的部分幀圖像進行目標檢測處理，以獲得候選跟蹤物體；以及根據該候選跟蹤物體，更新在該當前幀圖像中需要跟蹤的該被跟蹤物體。

技術領域

本發明涉及目標跟蹤技術領域，尤其是涉及多目標實時跟蹤方法及其系統和電子設備。

背景技術

近年來，諸如AR(Augmented?Reality，增強現實)眼鏡等等之類的近眼顯示光學系統為人類創造了豐富的視感體驗。為了進一步提升用戶體驗，該近眼顯示光學系統也需要具備物體識別功能，即用于近眼顯示光學系統的多目標跟蹤方法，以通過該近眼顯示光學系統上配置的圖像傳感器采集場景圖像，并計算識別場景中的物體，如人、筆記本電腦、椅子、杯子、瓶子、書以及手機等等。而為了能夠關聯物體在前后幀的信息，現有的多目標跟蹤方法除了能夠輸出物體在每一幀的位置包圍框之外，還需要輸出物體的身份標識(即ID)，以實現每一個被識別的物體的多目標跟蹤。

目前，多目標跟蹤方法按照是否融合目標檢測結果，通常可以分為兩類：基于檢測的跟蹤方法(英文Detection-Based?Tracking；簡稱DBT)和與檢測無關的跟蹤方法(英文Detection-Free?Tracking；簡稱DFT)。該與檢測無關的跟蹤方法通常需要在視頻中人為地初始化一些目標的位置，然后利用跟蹤算法逐幀跟蹤這些目標，找到這些目標在視頻中接下來的每一幀的位置。該基于檢測的跟蹤方法則不需要人工初始化目標位置，但需要目標檢測器對視頻中每一幀圖像進行檢測，并利用跟蹤算法將每一幀檢測的結果關聯起來，最終得到目標的跟蹤結果。

然而，由于該與檢測無關的跟蹤方法不依賴目標檢測器，因此一旦出現頻繁遮擋、尺寸變化、出平面旋轉或光照變化等情況導致跟蹤漂移后，就很難獲得正確的跟蹤結果。而該基于檢測的跟蹤方法則可以利用檢測結果來修正跟蹤結果，從而維持持續穩定地跟蹤，使得基于檢測的跟蹤方法受到越來越多的關注，已經成為多目標跟蹤領域的主流框架。

但現有的基于檢測的跟蹤方法均是基于每一幀均存在檢測結果為前提，并且目前效果較好的目標檢測器主要是利用深度學習模型構建的，而深度學習模型具有模型層數多、卷積計算量大以及計算耗時長的特點，導致目標檢測器在諸如AR眼鏡或手機等移動端運行時難以達到實時。因而，現有的基于檢測的跟蹤方法無法計算每一幀的檢測結果，進而該現有的基于檢測的跟蹤方法無法實現實時的多目標跟蹤。

發明內容

本發明的一優勢在于提供一多目標實時跟蹤方法及其系統和電子設備，其能夠實現實時的多目標跟蹤，以便在諸如AR眼鏡或手機等移動端充分應用。

本發明的另一優勢在于提供一多目標實時跟蹤方法及其系統和電子設備，其中，在本發明的一實施例中，所述多目標實時跟蹤方法能夠將利用光流法的目標跟蹤過程和利用深度學習的目標檢測過程分別在不同線程中運行，以在充分利用深度學習在目標檢測效果和精度上的優勢的同時，又能夠實現多目標的實時跟蹤。

本發明的另一優勢在于提供一多目標實時跟蹤方法及其系統和電子設備，其中，在本發明的一實施例中，所述多目標實時跟蹤方法創造性地提出利用光流跟蹤法提供的物體位置信息作為檢測信息，以實時地確定不同物體的身份標識，進而實現多目標的實施跟蹤。

本發明的另一優勢在于提供一多目標實時跟蹤方法及其系統和電子設備，其中，在本發明的一實施例中，所述多目標實時跟蹤方法創造性地提出將基于深度學習的目標檢測模型在獨立線程中運行，而不需要考慮其是否能夠處理每一幀圖像，以便解決現有的基于檢測的跟蹤方法對每一幀圖像均要檢測的問題，進而確保多目標實時跟蹤的實現。