[發明專利]手勢識別方法及裝置

有效

• 申請號: 201210264265.3
• 申請日: 2012-07-27
• 公開（公告）號: CN103577793A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 羅圣美;王高浩;耿衛東
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66
• 代理公司: 北京派特恩知識產權代理事務所(普通合伙) 11270
• 代理人: 張振偉;王黎延

技術領域

本發明涉及手勢識別技術，尤其涉及一種手勢識別方法及裝置。

背景技術

基于視覺的體感交互技術近年來越來越多地受到研究人員的關注，特別是當微軟發布能夠支持全身動作姿態識別的體感交互裝置方案Kinect以來，更讓廣大研究人員看到了體感交互技術未來的應用前景。近年來有大量學者、研究機構和相關企業在從事體感交互方面的探索與研究，大致可分為兩個方面：一為近景動作交互，捕獲區域和對象較小，集中在手部姿態，如SixthSense等；一為全身動作交互，動作的幅度也更大，需要更大的捕獲區域和軟硬件處理能力，但用戶與虛擬空間的聯系感更為強烈，如Kinect、Wii以及一些大型虛擬實境系統。

實時姿態估計技術是體感交互的關鍵技術之一，一直是計算機視覺與多媒體領域內的熱點。姿態估計技術指從視頻或圖片中，提取和估計人物的姿態。在具體交互語境中，系統就能夠根據姿態結合上下文識別具體的動作語義。

傳統的基于色彩光度圖的姿態估計技術，容易受光照等多種環境因素的影響，很難同時達到對實時性能與精度的較高要求，并且魯棒性不佳。深度相機能夠直接提供拍攝場景的較準確空間信息，這大大降低了姿態估計的難度。

微軟的體感交互裝置Kinect使用對運動軌跡的方向判斷、預測進行手勢動作的識別，該方法雖然能夠準確的識別出手勢動作，但計算量大、耗時久，不能在基于JAVA的Android平臺平板電腦、以及IPTV的電視機頂盒上使用。同時，微軟的骨架聚合識別工具NITE中間件并未對外開源，在動作識別的開發上存在困難。

發明內容

有鑒于此，本發明的主要目的在于提供一種手勢識別方法及裝置，能快速、準確的識別出體感動作，適用于計算性能并不強大終端如電視機頂盒中。

為達到上述目的，本發明的技術方案是這樣實現的：

一種手勢識別方法，包括：

實時獲取人體深度圖片，使用閾值分割背景而確定人物位置，再通過基于平滑度約束的區域生長提取精確深度人像輪廓；

基于隨機森林模型計算深度人像輪廓的每個像素的深度特征，形成特征向量，再通過隨機森林模型確定每個像素的部位標識概率；

基于每個像素對應的人體部位及其概率，濾除識別噪點，聚合生成骨架節點；

記錄骨架節點的時序序列形成骨架運動軌跡；

抽取人體手部節點的運動軌跡與預定義的模板進行匹配，識別出手勢動作類型。

優選地，基于隨機森林模型計算深度人像輪廓的每個像素的深度特征之前，所述方法還包括：

捕捉常見的人體基本動作并存儲為樣本動作；

對所述樣本動作進行關鍵幀聚類，剔除重復和相似的動作，得到最終的訓練動作；配合不同的人體模型，對訓練動作進行圖形渲染生成初步的深度圖及相應部位標識圖；

對所生成的深度圖進行重采樣、加噪處理，合成與實時采集的深度圖相似的樣本；

利用合成樣本計算對應深度特征向量，訓練得到隨機森林模型。

優選地，所述利用合成樣本計算對應深度特征向量，訓練得到隨機森林模型，包括：