[發(fā)明專利]基于在線機器學習的視覺人手跟蹤方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310385425.4
• 申請日: 2013-08-29
• 公開（公告）號: CN103426008A
• 公開（公告）日: 2013-12-04
• 發(fā)明（設(shè)計）人: 劉宏;劉星;王燦
• 申請（專利權(quán)）人: 北京大學深圳研究生院
• 主分類號: G06K9/66
• 分類號: G06K9/66
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 余長江

1.一種基于在線機器學習的視覺人手跟蹤方法，其步驟為：

1）對視覺數(shù)據(jù)輸入圖像，提取得到圖像特征并檢測初始人手目標位置得到正負樣本，對所述正負樣本進行訓練得到初始化的分類器；同時在所述分類器中增加膚色約束；

2）對后續(xù)采集的視覺數(shù)據(jù)輸入圖像，選取待跟蹤物體的特征點，使用基于鳥群算法的光流跟蹤法跟蹤所述特征點確定搜索窗口，得到物體跟蹤器；

3）所述物體跟蹤器在搜索窗口中對物體的特征點進行跟蹤，根據(jù)特征點集估計物體位置得到目標跟蹤物體的置信度，所述分類器對置信度不可靠的物體進行檢測，輸出更新后的物體目標中心和窗口；

4）根據(jù)物體目標中心和窗口在所述分類器中通過時間、空間、膚色約束條件產(chǎn)生正負樣本訓練集，重新訓練在線機器學習的分類器，更新分類器的參數(shù)，用于下一幀的跟蹤。

2.如權(quán)利要求1所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述步驟2）中基于鳥群算法的光流跟蹤法按照如下方法跟蹤所述特征點：

1)輸入物體目標位置以及搜索窗口，并通過柵格法隨機產(chǎn)生特征點集；

2)通過LK光流法跟蹤器跟蹤選取的特征點，得到跟蹤成功特征點集以及跟蹤失敗特征點集，從特征點集中剔除掉跟蹤失敗的特征點；

3)判斷跟蹤特征點的偏離，判斷是否補充特征點，并根據(jù)膚色檢測機制，在跟蹤目標中選取膚色點補充到特征點集中；

4)將滿足約束的特征點加入到特征點集中，繼續(xù)進行跟蹤；

5)通過跟蹤成功的特征點集對目標窗口以及中心位置進行估計，輸出跟蹤目標窗口以及中心位置。

3.如權(quán)利要求2所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述鳥群算法對特征點之間需要滿足的關(guān)系約束如下：

MINDist＜|p_i-p_j|，MAXDist＞|p_j-m|，m＝median(F)，任何兩個特征點p_i、p_j的最大距離不超過特征點之間的最大距離MAXDist，最小距離不小于特征點之間的最小距離MINDist，m是中間點；所述膚色點的RGB值根據(jù)跟蹤需要設(shè)定。

4.如權(quán)利要求1所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述分類器為P-N在線學習分類器。

5.如權(quán)利要求4所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述目標跟蹤物體的置信度是通過比較跟蹤到的物體與當前構(gòu)建的在線學習物體建模進行模板匹配得到的匹配值，同時預(yù)置一可靠置信度閾值對所述分類器對置信度不可靠的物體進行檢測。

6.如權(quán)利要求5所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述P-N在線學習分類器在線更新方法如下：

如果檢測失敗，則利用可靠的基礎(chǔ)跟蹤器的跟蹤結(jié)果來引導分類器訓練過程：根據(jù)LK光流法穩(wěn)定跟蹤到的特征點作為種子點作為種子點，啟動P-N在線學習，產(chǎn)生正負樣本訓練分類器。

7.如權(quán)利要求1所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，通過手動矩形框圈出待跟蹤物體初始位置，得到前景和背景物體。

8.如權(quán)利要求7所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述步驟1），在視頻序列幀圖像中，根據(jù)所述前景物體手動選出需要跟蹤的目標區(qū)域，以方形框為目標窗口提取類Haar特征，窗口內(nèi)的類Haar特征為正樣本即所要跟蹤的目標區(qū)域，窗口外兩倍目標大小的類Haar特征為負樣本。

9.如權(quán)利要求1所述的基于在線機器學習的視覺人手跟蹤方法，其特征在于，所述分類器包括：膚色分類器、隨機森林分類器以及最近鄰分類器。

10.一種基于在線機器學習的視覺人手跟蹤系統(tǒng)，其特征在于，由系統(tǒng)輸入：USB攝像頭獲取的RGB圖像，系統(tǒng)輸出：跟蹤目標中心位置和窗口，以及跟蹤目標結(jié)果的置信度；所述系統(tǒng)包括：跟蹤器、檢測器和在線機器學習，包括實現(xiàn)以下功能的模塊：

用于對視覺數(shù)據(jù)輸入圖像，提取得到圖像特征并檢測初始人手目標位置得到正負樣本，對所述正負樣本進行訓練得到的初始化的分類器；在所述分類器中增加膚色分類器；在所述分類器中通過時間、空間、膚色約束條件產(chǎn)生正負樣本訓練集，重新訓練在線機器學習的分類器，更新分類器的參數(shù)；

用于對后續(xù)采集的視覺數(shù)據(jù)輸入圖像，選取待跟蹤物體的特征點，使用基于鳥群算法的光流跟蹤法跟蹤所述特征點確定搜索窗口的物體跟蹤器；所述跟蹤器在搜索窗口中對物體的特征點進行跟蹤，根據(jù)特征點集估計物體位置得到目標跟蹤物體的置信度，所述分類器對置信度不可靠的物體進行檢測，輸出更新后的物體目標中心和窗口。