[發明專利]三維物體的跟蹤系統及其跟蹤方法

有效

• 申請號: 201711183555.4
• 申請日: 2017-11-23
• 公開（公告）號: CN108010055B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 康大智;呂國云
• 申請（專利權）人: 塔普翊海（上海）智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一三維物體的跟蹤系統及其跟蹤方法，其中所述三維物體的跟蹤系統包括一關鍵幀形成單元、一視頻幀外參數分析單元以及一跟蹤判斷單元，其中所述關鍵幀形成單元通過分析一模板幀的數據和一視頻幀的數據以形成一關鍵幀數據，其中所述關鍵幀數據中包括所述關鍵幀的外參數，其中所述視頻幀外參數分析單元被通信連接于所述關鍵幀形成單元，其中所述視頻幀外參數分析單元能夠獲取所述關鍵幀的外參數，并根據所述關鍵幀的外參數計算出所述視頻幀的外參數，其中所述跟蹤判斷單元被通信連接于所述視頻幀外參數分析單元，其中所述視頻幀分析模塊獲取所述關鍵幀的數據和所述視頻幀的數據后，計算出被跟蹤物體在所述視頻幀中對應的位姿。

技術領域

本發明涉及一三維物體的跟蹤系統及其方法，尤其涉及一無需通過在現實場景中放置標識的方式對三維物體的進行跟蹤的三維物體的跟蹤系統及其跟蹤方法。

背景技術

傳統對三維物體的跟蹤方法，需要事先在真實場景中放置預定的標識，通過檢測標志來實現跟蹤并確定攝像機參數，進一步渲染三維數據模型，隨著標志發生縮放、平移或者旋轉等變化，通過重新計算所述攝像機的外參數，進而實現對三維物體的跟蹤。而在現實生活中，放置標志是十分麻煩的，一方面，需要避免放置的標志遮擋被跟蹤的物體，另一方面，有些被跟蹤的物體是移動的，因此此時的視頻幀獲取設備也在相應地移動，而被放置的標志確是靜止的，如果所述視頻幀獲取設備移動十分迅速，很可能導致被放置在現實場景中的所述標志移出所述視頻幀獲取設備能夠獲取的視野范圍外，這樣就會導致整個跟蹤過程的失敗。為解決此類問題，傳統的對三維物體的跟蹤是通過以平面圖像為標志進行跟蹤的，而以二維平面圖像作為標志進行跟蹤，通常使得被跟蹤的物體的運動方向受到限制，同時，進一步疊加的三維模型的運動自由度也受到了限制。

在現代科技發展過程中，無標志的基于視覺特征的有更廣泛的應用范圍，但目前相關的技術對被跟蹤物體的CAD模型要求比較高，而且跟蹤的過程十分復雜，同時對相應的運行設備也有著較高的要求，隨著移動端AR應用的大量普及，實時性成為了算法研究的重點問題，其中關鍵的一點是跟蹤方法的穩定性，傳統的對三維物體的跟蹤方法對紋理復雜的物體跟蹤的速度較慢，對簡單的物體提取不到有效的特征和足夠數量的特征，而且，傳統的跟蹤方法對被跟蹤的物體提取特征時，對光照強度十分敏感，這在一定程度上導致了整個跟蹤過程連續性較差，經常會出現疊加虛擬三維物體在場景中劇烈歡動，沒有連貫的視覺感官。

發明內容

本發明的一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中根據所述三維物體的跟蹤系統在對物體進行跟蹤時，無需在現實場景中放置特定的實物標志和平面標志。

本發明的另一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中所述三維物體的跟蹤系統能夠對紋理豐富度不同的物體都、能夠進行穩定地跟蹤。

本發明的另一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中所述三維物體的跟蹤系統對紋理較為復雜的物體能夠進行快速地跟蹤。

本發明的另一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中所述三維物體的跟蹤系統對紋理較為復雜的物體能夠進行穩定地跟蹤。

本發明的另一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中所述三維物體的跟蹤系統能夠對簡單的物體能夠提取足夠的特征點，進而進行有效、穩定地跟蹤。

本發明的另一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中所述所述三維物體的跟蹤系統在對三維物體進行跟蹤時，不會受到光線強弱的影響。

本發明的另一個目的在于提供一三維物體的跟蹤系統及其跟蹤方法，其中所述三維物體的跟蹤系統能夠通過更新關鍵模板幀的方式實時對物體進行跟蹤，從而即使在被跟蹤的物體出界后重新回到視頻幀獲取設備的視野時，也能夠繼續對物體進行跟蹤。也就是說，在被跟蹤的物體因出界而導致跟蹤失敗后，如果被跟蹤的物體重新重新回到視頻幀獲取設備的視野后，所述三維物體的跟蹤系統能夠自動地再次對被跟蹤物體進行跟蹤。