[發明專利]基于異構數據融合的傳感器協同手勢識別方法及系統

有效

• 申請號: 201210397255.7
• 申請日: 2012-10-18
• 公開（公告）號: CN102945362A
• 公開（公告）日: 2013-02-27
• 發明（設計）人: 黃美玉;陳益強;紀雯
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種基于異構數據融合的傳感器協同手勢識別方法，其特征在于，包括：

步驟1，基于攝像頭和傳感器采集的異構數據訓練手勢動作識別模型；

步驟2，利用所述手勢動作識別模型構建閾值模型；

步驟3，基于所述手勢動作識別模型和閾值模型對輸入的連續動作序列進行分割識別。

2.如權利要求1所述的多傳感器協同手勢識別方法，其特征在于，所述步驟1包括：

步驟11，通過攝像頭和多個傳感器檢測手勢動作，獲得用于訓練手勢動作識別模型的第一樣本數據，其中所述第一樣本數據是記錄某一手勢動作的三維位置、三軸角速度、三軸加速度的數據序列；

步驟12，結合所述攝像頭和多個傳感器的特性，對所述第一樣本數據中的各個數據序列進行預處理，得到第二樣本數據；

步驟13，從所述第二樣本數據中提取不受動作幅度和空間跨度影響的特征向量，其中所述特征向量融合了動作的位移方向、轉動角度和加速度的特征，并利用所述特征向量訓練手勢動作識別模型。

3.如權利要求1所述的多傳感器協同手勢識別方法，其特征在于，所述手勢動作識別模型為左-右結構的連續隱馬爾科夫模型。

4.如權利要求2所述的多傳感器協同手勢識別方法，其特征在于，所述步驟11中采用用戶協同實現的分割方法以區分手勢對應的數據序列。

5.如權利要求2所述的多傳感器協同手勢識別方法，其特征在于，所述步驟12中的所訴預處理包括：空閑數據和異常數據剔除以及數據平滑濾波。

6.如權利要求1所述的多傳感器協同手勢識別方法，其特征在于，所述步驟2中所述閾值模型是由系統中所有手勢動作識別模型的隱狀態完全連接的遍歷結構的隱馬爾可夫模型，且對于給定的一個手勢動作識別模式，所述閾值模型的似然值都小于任意一個手勢模式的手勢動作識別模型的似然值。

7.如權利要求2所述的多傳感器協同手勢識別方法，其特征在于，所述步驟3包括：

步驟301，設定初始時間t=1，并將觀測序列和手勢棧置為空，同時將所述特征向量作為t時刻的觀測值增添到觀測序列中，對于隱馬爾科夫模型，數據序列統稱為觀測序列；

步驟302，分別使用所有手勢動作識別模型和閾值模型對t時刻的觀測序列采用韋特比算法進行解碼，分別得到所述觀測序列的似然值；

步驟303，找到所述似然值最大的第一手勢動作識別模型；

步驟304，判斷所述第一手勢動作識別模型的似然值是否高于閾值模型的似然值；若高于則將所述t時刻記為所述第一手勢動作識別模型對應的手勢模式的候選終點，并利用韋特比回饋算法找出該手勢模式的起點，同時執行步驟305；否則執行步驟306；

步驟305，將所述手勢模式與手勢棧棧頂緩存的手勢模式進行對比，當兩者相同時，返回步驟11采集下一時刻的第一樣本數據，否則按下述情況進行判斷和操作：當上述手勢模式的起點在手勢棧棧頂緩存的手勢模式的第一個候選終點的前面，則彈出手勢棧棧頂緩存的手勢模式，并壓入上述手勢模式及其候選終點，同時返回步驟11采集下一時刻的第一樣本數據；當上述手勢模式的起點在手勢棧棧頂緩存的手勢模式的第一個候選終點和最后一個候選終點之間，則彈出手勢棧頂緩存的手勢模式，并將上述手勢模式的起點的t-1時刻作為手勢棧棧頂緩存的手勢模式的終點，同時將上述手勢模式及其候選終點壓棧，,執行步驟307；

步驟306，彈出手勢棧棧頂手勢模式，并將t-1時刻設為該手勢模式的終點，并利用韋特比回饋算法找出該手勢模式的起點，然后執行步驟307；

步驟307，對手勢棧彈出的手勢模式的長度進行判別，如若手勢模式的長度滿足約束條件，那么其是一個真手勢模式，執行步驟308；否則返回步驟11采集下一時刻的第一樣本數據，其中手勢模式的長度記為其終點時刻和起點時刻之間的時間段長度；

步驟308，根據相應的手勢動作識別模型，對所述真手勢模式的起點時刻和終點時刻之間的觀測序列中進行標記，同時返回步驟11采集下一時刻的動作數據。