[發明專利]跟蹤二維平面上移動的目標物體位置和方向的方法和系統

有效

• 申請號: 202080000110.1
• 申請日: 2020-01-22
• 公開（公告）號: CN111247526B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 留振雄;唐宏杰;關文偉;許子健;林耀文;張繼輝;閆嘉欣
• 申請（專利權）人: 香港應用科技研究院有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/25;G06V10/75
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

一種用于跟蹤二維平面上移動的目標物體的位置和方向的方法和系統，相機用以生成目標物體的視頻幀，處理器被配置以：校正當前一個視頻幀的透視比例；使用運動模型或其先前的位置/角度來估計目標物體的當前位置和角度；在估計的當前位置周圍從當前視頻幀中切出感興趣的區域；調整感興趣區域的大小以按預定比例M(寬度＝寬度/M，高度＝高度/M)縮小其尺寸，或等效地以比例M降低感興趣區域的圖像分辨率(分辨率＝分辨率/M)；通過將當前感興趣區域與先前存儲的模板進行模板匹配來跟蹤目標物體的新位置；且如果達到了指示成功跟蹤的停止標準，則得出結論：所述跟蹤的目標物體的位置和角度是準確的，并更新模板；或者繼續采用細化方法細化所述跟蹤位置和角度，直到最終達到停止標準。

技術領域

本發明涉及使用迭代模板匹配的目標跟蹤方法和系統，特別涉及在目標與控制服務器之間的5G低延遲、高可靠性鏈路的應用場景中，基于模板匹配的目標跟蹤方法。

背景技術

有兩種使用照相機追蹤或定位目標的常用方式，即通過檢測或追蹤。相機在跟蹤過程中生成視頻幀，并將結果輸出到一個控制服務器(服務器)。目標定位方法將每個視頻幀作為輸入，然后產生輸出，例如目標的類型、角度和坐標。為了進行檢測，用戶必須分析整個視頻幀。此方法的優點是，它不需要任何先前視頻幀，服務器(或處理器)的處理速度大約為數百毫秒(ms)。為了進行跟蹤，用戶僅分析視頻幀的一小部分，服務器(或處理器)的處理速度約為幾十毫秒。因此，跟蹤的處理速度比檢測的速度快。

開源跟蹤器，如CORR、CSRT、BOOSTING、GOTURN、KCF、MEDIAN、FLOW、MIL、MOSSE和TLD能夠跟蹤非剛性目標，這些目標的形狀可能會不斷變化，如面孔和動物。但是，開源跟蹤器跟蹤非剛性目標無法精確到視頻幀的幾個像素，并且處理速度很慢。在跟蹤剛性目標時搜索固定的幾何形狀或圖案(稱為剛性目標)可以精確到幾個像素，例如矩形、圓形、虛線等。但是，開源跟蹤器無法處理遮擋(occlusion)。另一方面，在跟蹤剛性目標時，與模板的匹配可以精確到幾個像素，并且處理速度非常快，但仍然無法滿足目標縮放和旋轉要求。

模板匹配是計算機視覺中使用的經典技術。模板匹配使用原始像素值以及像素的空間關系來找到圖像中的目標對象。用戶定義的用于計算置信度分數的度量標準用于測量模板和圖像塊(image?patch)之間的相似性。使用模板匹配的原因是因為模板匹配速度快，因為它使用原始信息，無需預處理。實際上，其他預處理技術不僅會消耗更多的時間，而且還會限制目標對象的對象特征。模板匹配也是精確的，因為它進行了像素到像素的計算以獲得置信度分數。

但是，在圖1和圖2中顯示了模板匹配的問題。使用該技術時，其簡單性伴隨一些常見問題。出現以下任一情況時，模板匹配可能會失敗。如圖1所示，當模板和目標對象不在同一方位(旋轉)(即圖1中的情況1)時，模板和目標對象不在同一比例(即圖1中的情況2)時，模板和目標對象的方位和比例都不同(即圖1中的情況3)時，和/或模板和目標對象對于服務器而言看起來太不同，模板匹配可能會失敗。如圖2所示，模板和目標對象看起來不同的示例可能是模糊、光照差異或遮擋的結果。

發明內容

為了克服以上和/或其他技術障礙，本發明包括使用迭代模板匹配的跟蹤方法和系統，以通過使用相機來有效地定位目標物體，而不需要任何額外的傳感器或相機。

根據一個實施例，迭代模板匹配方法減少了用于實時應用目的的服務器的計算時間。在目標時間內，該方法將經過一個細化過程以提高準確性。

根據一個實施例，該方法能夠使用校準過程、模板更新過程和角度檢測過程來調整適應目標物體的外觀變化。

根據一個實施例，該方法通過縮小目標物體附近的搜索區域來估計目標物體的新位置。在該搜索區域內執行搜索。假定目標物體的位置和方位在相機拍攝的視頻幀之間不會有太大變化，這通常在目標位遠離相機時是正確的。