[發(fā)明專利]基于在線機(jī)器學(xué)習(xí)的視覺人手跟蹤方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310385425.4
• 申請(qǐng)日: 2013-08-29
• 公開（公告）號(hào): CN103426008A
• 公開（公告）日: 2013-12-04
• 發(fā)明（設(shè)計(jì)）人: 劉宏;劉星;王燦
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)深圳研究生院
• 主分類號(hào): G06K9/66
• 分類號(hào): G06K9/66
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 余長江

技術(shù)領(lǐng)域：

本發(fā)明屬于視覺目標(biāo)跟蹤和智能人機(jī)交互領(lǐng)域，具體涉及一種魯棒的基于在線機(jī)器學(xué)習(xí)的視覺人手跟蹤方法及系統(tǒng)。

背景技術(shù)：

基于視覺的人手跟蹤技術(shù)是一門融合了圖像處理、模式識(shí)別、人工智能等許多領(lǐng)域的關(guān)鍵技術(shù)。視覺人手跟蹤技術(shù)有著十分廣泛的應(yīng)用，例如視頻監(jiān)控、智能電視、機(jī)器人控制、視覺游戲等需要人機(jī)交互的領(lǐng)域。由于人手跟蹤技術(shù)有著巨大的應(yīng)用前景，在國際和國內(nèi)對(duì)視覺人手跟蹤的研究方興未艾。

在人機(jī)交互環(huán)境下，人手跟蹤技術(shù)受到了很多挑戰(zhàn)。比如受日光和燈光的影響，光線變化較大；背景中靜態(tài)干擾物和動(dòng)態(tài)干擾物形態(tài)各異且運(yùn)動(dòng)方式無法預(yù)測(cè)；人手與環(huán)境中其他物體之間的相互運(yùn)動(dòng)較為復(fù)雜，且容易受到遮擋。面對(duì)這些困難，如何實(shí)現(xiàn)穩(wěn)定的人手跟蹤，從而進(jìn)行更智能和穩(wěn)定的人機(jī)交互，具有著重要的意義。

目前基于視覺的人手跟蹤技術(shù)大致可以分為基于外觀的方法和基于模型的方法。基于外觀的方法首先從圖像中提取特征，與人手具有的特定特征進(jìn)行匹配，在這些基于外觀的方法中光流法、均值漂移法、最大穩(wěn)定極值區(qū)域法是最為常見的方法。而基于模型的方法主要利用人手的3D或2D模型對(duì)人手的特征進(jìn)行估計(jì)，并與觀測(cè)到的特征進(jìn)行匹配，例如粒子濾波、3D幾何人手模型、圖模型等。在這些方法中，魯棒性都依賴于對(duì)特定環(huán)境中的多特征融合，缺乏可靠的理論基礎(chǔ)?；谀Ｐ偷姆椒ㄔ谒俣壬嫌兄^大的缺陷，而外觀的方法在準(zhǔn)確性上有著明顯的不足。

近年來機(jī)器學(xué)習(xí)在機(jī)器視覺領(lǐng)域得到了廣泛的研究?；诜诸惼鞯哪繕?biāo)檢測(cè)方法為目標(biāo)跟蹤提供了更高的魯棒性。但是單純的目標(biāo)檢測(cè)對(duì)于簡(jiǎn)單的外觀變化如光照變化、快速運(yùn)動(dòng)等卻缺乏魯棒性。如何結(jié)合目標(biāo)檢測(cè)和目標(biāo)跟蹤的優(yōu)點(diǎn)來達(dá)到更高的魯棒性具有重要的理論研究和應(yīng)用意義。

發(fā)明內(nèi)容：

針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明的目的在于提供一種基于在線機(jī)器學(xué)習(xí)的視覺人手跟蹤方法。本發(fā)明通過在線學(xué)習(xí)將基于分類器的檢測(cè)和基于運(yùn)動(dòng)連續(xù)性的跟蹤結(jié)合起來，以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)應(yīng)用場(chǎng)景魯棒的人手跟蹤。通過利用層級(jí)分類器（檢測(cè)器）對(duì)搜索區(qū)域內(nèi)的像素點(diǎn)進(jìn)行分類，得到對(duì)目標(biāo)的保守但穩(wěn)定的估計(jì)；利用結(jié)合鳥群算法的光流法跟蹤器對(duì)目標(biāo)進(jìn)行適應(yīng)性較強(qiáng)但不太穩(wěn)定的估計(jì)；利用在線學(xué)習(xí)機(jī)制將二者結(jié)合得到的跟蹤結(jié)果，并且根據(jù)時(shí)間空間約束產(chǎn)生新的樣本來在線更新層級(jí)的分類器，從而實(shí)現(xiàn)跟蹤器和檢測(cè)器的互補(bǔ)，來獲得更加魯棒的跟蹤結(jié)果。

本發(fā)明的技術(shù)方案如下：一種基于在線機(jī)器學(xué)習(xí)的視覺人手跟蹤方法，其步驟為：

1）對(duì)視覺數(shù)據(jù)輸入圖像，提取得到圖像特征并檢測(cè)初始人手目標(biāo)位置得到正負(fù)樣本，對(duì)所述正負(fù)樣本進(jìn)行訓(xùn)練得到初始化的分類器；同時(shí)在所述分類器中增加膚色約束；

2）對(duì)后續(xù)采集的視覺數(shù)據(jù)輸入圖像，選取待跟蹤物體的特征點(diǎn)，使用基于鳥群算法的光流跟蹤法跟蹤所述特征點(diǎn)確定搜索窗口，得到物體跟蹤器；

3）所述物體跟蹤器在搜索窗口中對(duì)物體的特征點(diǎn)進(jìn)行跟蹤，根據(jù)特征點(diǎn)集估計(jì)物體位置得到目標(biāo)跟蹤物體的置信度，所述分類器對(duì)置信度不可靠的物體進(jìn)行檢測(cè)，輸出更新后的物體目標(biāo)中心和窗口；

4）根據(jù)物體目標(biāo)中心和窗口在所述分類器中通過時(shí)間、空間、膚色約束條件產(chǎn)生正負(fù)樣本訓(xùn)練集，重新訓(xùn)練在線機(jī)器學(xué)習(xí)的分類器，更新分類器的參數(shù)，用于下一幀的跟蹤。

更進(jìn)一步，所述步驟2）中基于鳥群算法的光流跟蹤法按照如下方法跟蹤所述特征點(diǎn)：

1)輸入物體目標(biāo)位置以及搜索窗口，并通過柵格法隨機(jī)產(chǎn)生特征點(diǎn)集；

2)通過LK光流法跟蹤器跟蹤選取的特征點(diǎn)，得到跟蹤成功特征點(diǎn)集以及跟蹤失敗特征點(diǎn)集，從特征點(diǎn)集中剔除掉跟蹤失敗的特征點(diǎn)；

3)判斷跟蹤特征點(diǎn)的偏離，判斷是否補(bǔ)充特征點(diǎn)，并根據(jù)膚色檢測(cè)機(jī)制，在跟蹤目標(biāo)中選取膚色點(diǎn)補(bǔ)充到特征點(diǎn)集中；

4)將滿足約束的特征點(diǎn)加入到特征點(diǎn)集中，繼續(xù)進(jìn)行跟蹤；

5)通過跟蹤成功的特征點(diǎn)集對(duì)目標(biāo)窗口以及中心位置進(jìn)行估計(jì)，輸出跟蹤目標(biāo)窗口以及中心位置。

更進(jìn)一步，所述鳥群算法對(duì)特征點(diǎn)之間需要滿足的關(guān)系約束如下：

MINDist＜|p_i-p_j|，MAXDist＞|p_j-m|，m＝median(F)，任何兩個(gè)特征點(diǎn)p_i、p_j的最大距離不超過特征點(diǎn)之間的最大距離MAXDist，最小距離不小于特征點(diǎn)之間的最小距離MINDist，m是中間點(diǎn)；所述膚色點(diǎn)的RGB值根據(jù)跟蹤需要設(shè)定。

更進(jìn)一步，所述分類器為P-N在線學(xué)習(xí)分類器。