[發明專利]用于手勢識別的系統和方法

有效

• 申請號: 201080071260.8
• 申請日: 2010-12-29
• 公開（公告）號: CN103415825A
• 公開（公告）日: 2013-11-27
• 發明（設計）人: 周杰;程璞
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 史新宏

技術領域

本公開總體上涉及計算機圖形處理和手勢識別系統，并且更具體地涉及用于手勢發現和識別的系統和方法。也提供了使用用戶的手的軌跡的隱馬爾可夫模型（HMM）和幾何特征分布來實現自適應手勢識別的系統和方法。

背景技術

手勢識別因為其在手語識別、多模人與計算機交互、虛擬現實和機器人控制上的可能使用而受到越來越多的關注。大多數手勢識別方法將所觀察到的輸入圖像的序列與培訓樣本或模型匹配。輸入序列被分類為其樣本或模型與其最佳地匹配的手勢類別。動態時間歸整（DTW）、連續動態編程（CDP）、隱馬爾可夫模型（HMM）和條件隨機場（CRF）是手勢分類器的示例。

HMM匹配是最常使用的用于手勢識別的技術。然而，這種方法不能利用已經證明對于手勢識別有效的手的軌跡的幾何信息。在使用手的軌跡的先前的方法中，整體獲取手的軌跡，并且作為用于識別的貝葉斯分類器的輸入提取反映軌跡的形狀的一些幾何特征，諸如在x和y軸上的平均手的位置和所觀察到的手的x和y位置的偏度等。然而，該方法不能精確地描述手的手勢。

對于在線手勢識別，手勢發現，即，確定手勢的起點和終點，是很重要但是困難的任務。存在用于手勢發現的兩種類型的手段：直接手段和間接手段。在直接手段中，首先計算諸如速度、加速度和軌跡曲線的運動參數，并且找出這些參數的突變以識別候選的手勢邊界。然而，這些方法不夠精確。間接手段組合手勢發現和手勢識別。對于輸入序列，間接手段找出當與培訓樣本或模型匹配時給出高識別分數的間隔，因此同時實現手勢的時間分段和識別。然而，這些方法通常是耗時的，并且手勢的一些誤檢可能出現。一種傳統的手段提出使用修剪策略來改善精度以及系統的速度。然而，該方法僅基于在手的軌跡的單點和單個模型狀態之間的兼容性而修剪。如果當前觀察的似然率小于閾值，則將修剪匹配假設。基于該簡單策略的修剪分類器可能容易過度擬合培訓數據。

因此，存在對于用于更精確和魯棒的手勢發現和識別的技術的需要。

而且，不同的用戶手勢通常在速度、起點和終點與轉折點的角度等上不同。因此，很有意義的是，研究如何調整分類器以使得識別系統適應于特定用戶。

先前，僅一些研究者已經研究了自適應手勢識別。一種現有技術的技術通過保留具有新的樣本的HMM模型而實現了手勢系統的自適應。然而，該方法丟失了先前樣本的信息，并且對于噪聲數據敏感。另一種技術使用Baum-Welch方法的在線版本來實現手勢分類器的在線學習和更新，并且開發了一種可以在線學些簡單手勢的系統。然而，該方法的更新速度很低。

雖然僅存在對于自適應手勢識別的幾個研究，但是已經公布了用于自適應速度識別的許多方法。一種這樣的研究通過最大后驗概率（MAP）參數估計來更新HMM模型。通過使用參數的先前分布，需要較少的新數據來獲取魯棒參數估計和更新。該方法的缺陷是新的樣本僅能夠更新其對應的類別的HMM模型，因此降低了更新速度。最大似然率線性回歸（MLLR）被廣泛用于自適應速度識別。它使用新的樣本來估計模型參數的一組線性變換，使得模型可以更好地匹配在變換后的新的樣本。所有模型參數可以共享全局線性變換，或成簇為不同的組，其中，每組參數共享相同的線性變換。MLLR可以克服MAP的缺點，并且改善模型更新速度。

因此，存在用于實現自適應手勢識別的技術的需要，使得使用這樣的技術的系統可以適應于特定用戶。

發明內容

提供了一種用于手勢發現(spotting)和識別的系統和方法。本公開的所述系統和方法通過下述方式實現了更精確和魯棒的手勢發現和識別：組合在輸入圖像的序列中的運動參數的突變的檢測、隱馬爾可夫模型（HMM）匹配和軌跡幾何特征的提取。

根據本公開的一個方面，提供了一種用于發現由用戶執行的手勢的方法，所述方法包括：獲取用戶的輸入圖像的序列；將在輸入圖像的所述序列中的運動參數的突變檢測為候選起點；將輸入圖像的所述序列與手勢模型匹配；檢測所述匹配的手勢模型的狀態轉換點；基于所述檢測的狀態轉換點和候選起點來提取所述用戶的手的軌跡的幾何特征；基于匹配的手勢模型和所述提取的幾何特征來確定所述手勢的終點和手勢類別；并且，從所述確定的所述手勢的終點起反向跟蹤通過圖像，以確定所述手勢的實際起點。