[發(fā)明專利]一種基于RGB-D數(shù)據(jù)的視頻跟蹤方法

有效

• 申請?zhí)枺?/td>: 201710080013.8
• 申請日: 2017-02-15
• 公開（公告）號: CN106952294B
• 公開（公告）日: 2019-10-08
• 發(fā)明（設(shè)計）人: 孔德慧;賈思宇;王少帆;王立春
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06T7/292
• 分類號: G06T7/292
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

本發(fā)明公開一種基于RGB?D數(shù)據(jù)的視頻跟蹤方法，包括：獲取目標(biāo)數(shù)據(jù)并建立實時更新的自適應(yīng)深度信息模板；使用基于深度信息模板的融合RGB?D信息的改良上下文模型的跟蹤算法，計算當(dāng)前幀的目標(biāo)位置；使用基于深度信息模板的尺度更新算法，計算當(dāng)前幀的目標(biāo)對象尺度；啟用基于深度時域變化估算的遮擋檢測及處理機制，判斷上一步跟蹤結(jié)果的正確性，并根據(jù)判斷結(jié)果進行處理。采用本發(fā)明的技術(shù)方案,提升了跟蹤算法在存在遮擋，復(fù)雜背景等挑戰(zhàn)因素下的跟蹤魯棒性和精度。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺和視頻跟蹤領(lǐng)域，尤其涉及一種基于RGB-D數(shù)據(jù)的視頻跟蹤方法。

背景技術(shù)

目標(biāo)跟蹤是估計目標(biāo)對象在一系列視頻圖像序列中的狀態(tài)，在許多機器視覺相關(guān)的應(yīng)用領(lǐng)域，諸如運動分析，活動識別等，都扮演著非常重要的角色。眾多相關(guān)研究人員針對不同場景下的不同的視頻跟蹤需求，提出了多種基于視頻的目標(biāo)對象跟蹤方法。然而在實際應(yīng)用環(huán)境中，存在許多使目標(biāo)跟蹤問題的處理，變得異常困難的不可控因素，譬如遮擋，表觀模型形變，光照變化不均勻等等。所以，開發(fā)出一個健壯，通用，魯棒的視頻跟蹤算法，已經(jīng)成為機器視覺領(lǐng)域中的一個難題。

現(xiàn)今跟蹤算法數(shù)量眾多，性能各異，但大體上主要分為生成式與判別式兩大類。生成式算法是在目標(biāo)周圍尋找與目標(biāo)特征最匹配的算法。比如傳統(tǒng)的mean-shift算法，基于直方圖統(tǒng)計的方法，等等。判別式算法則是將跟蹤過程看成典型的二分類問題，通過局部搜索，判斷待搜索對象是目標(biāo)塊還是背景塊，從而進行目標(biāo)區(qū)分。比如基于Boots-trapping分類器的跟蹤算法^[]，基于多例學(xué)習(xí)的跟蹤算法^[]等等。近年來，一些結(jié)合了二者的優(yōu)點，融合這兩類方法思想的方法被提出，跟蹤算法研究也取得了進一步的發(fā)展。

其中，具有代表性的典型算法是2013年K.Zhang等提出的基于目標(biāo)上下文灰度特征的快速時空上下文學(xué)習(xí)跟蹤方法，簡稱STC方法^[]。該方法利用目標(biāo)對象及其鄰域組成的上下文信息的灰度特征，在預(yù)定義范圍內(nèi)進行特征相似性搜索匹配實現(xiàn)目標(biāo)和背景分離。其中，預(yù)定義搜索范圍，可基于自適應(yīng)學(xué)習(xí)進行尺度自適應(yīng)更新。該方法具有魯棒性高，速度快的優(yōu)勢，并且在自適應(yīng)處理局部遮擋方面表現(xiàn)出較為不錯的效果；然而在存在復(fù)雜背景雜波，連續(xù)遮擋及交叉遮擋等情況下，表現(xiàn)效果不佳。

2014年，基于STC的跟蹤算法，徐等提出了WSTC(weighted spatio-temoporalcontextlearninging)，即權(quán)重時空上下文學(xué)習(xí)算法。該算法通過計算前后幀的光流信息，對上下文信息進行分級，提升了STC算法中基于上下文的前景和背景的分離效果，在一定程度上解決了目標(biāo)跟蹤受背景雜波干擾的問題。然而，僅僅基于彩色上下文特征信息，難以解決因完全遮擋，交叉遮擋等嚴重遮擋導(dǎo)致的目標(biāo)丟失問題，且當(dāng)出現(xiàn)與目標(biāo)彩色特征極其相似的背景時，該方法表現(xiàn)也不盡如人意。

近幾年，隨著深度傳感器如微軟的kinect^[]設(shè)備的出現(xiàn)，深度信息開始逐漸被引入計算機視覺領(lǐng)域。但由于基于kinect相關(guān)設(shè)備的跟蹤算法還處于起步階段，多數(shù)算法的研究目標(biāo)單一不具有普適性，且深度數(shù)據(jù)的采集精度方面尚不完全，因而相關(guān)的較為成熟且具有普適性的跟蹤算法還較為少見，而融合RGB-D數(shù)據(jù)的跟蹤算法就更為稀少。2015年Zhaoyun Chen等人^[]在二維上下文特征信息的基礎(chǔ)上引入深度信息，提出了三維空間上下文信息模型，實現(xiàn)了三維空間的快速上下文學(xué)習(xí)跟蹤算法(CD)。該算法通過建立三維空間的上下文信息，進一步增強了上下文算法中，上下文信息區(qū)分目標(biāo)和背景的能力。事實上，基于深度信息輔助的目標(biāo)跟蹤研究方興未艾，更多的具有普遍意義的應(yīng)用深度信息的跟蹤算法尚有待提出。

發(fā)明內(nèi)容