[發明專利]一種基于手套采集的手勢識別方法及人機交互裝置

有效

• 申請號: 201711432163.7
• 申請日: 2017-12-26
• 公開（公告）號: CN108268132B
• 公開（公告）日: 2020-03-03
• 發明（設計）人: 崔劍;王凡瑜;劉妍;王丹盈;王林波;魏怡琳;羅震宇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 冀學軍

1.一種基于手套采集的手勢識別人機交互裝置，其特征在于，包括采集手套、調理器和處理模塊；處理模塊通過串行接口或USB接口與外部設備連接；

采集手套上設置有彎曲傳感器及慣性測量單元；處理模塊包括模數轉換器和主處理器，兩者集成在一塊芯片上；調理器同時連接彎曲傳感器和模數轉換器；慣性測量單元直接與主處理器相連接；

彎曲傳感器及慣性測量單元分別采集原始數據，其中彎曲傳感器將其輸出電阻送至調理器進行調理，轉化為電壓輸出給模數轉換器，模數轉換器將電壓輸出的模擬量轉換為數字量，提交給主處理器；

慣性測量單元采集的原始數據按通信協議直接傳輸給主處理器；主處理器對接收的數據進行處理，執行手勢識別算法，并輸出識別結果；同時接收指令并執行相應操作。

2.基于權利要求1所述的一種基于手套采集的手勢識別人機交互裝置的手勢識別方法，其特征在于，具體步驟如下：

步驟一、用戶自行定義一系列手勢，用集合G＝{G₁,G₂,G₃,...}表示；

步驟二、針對用戶隨機實施的某個動作，采集手勢識別人機交互裝置中彎曲傳感器和慣性測量單元輸出的數據；

步驟三、處理模塊中的數據長度計數器對采集的慣性測量單元輸出的數據進行統計，判斷計數器的值是否小于預先設定的固定值；如果是，則將采集的數據舍棄，結束識別；否則，進入步驟四繼續后續識別；

步驟四、分別計算X軸、Y軸、Z軸的角速度能量，尋找角速度能量最大軸；

角速度能量定義為

式中，E_k,av為k軸角速度能量(k＝X,Y,Z)；l為慣性測量單元輸出的角速度數據的長度；ω_ki為第i幀數據中的k軸角速度；

尋找角速度能量最大軸方法如下：

若某一軸角速度能量大于另兩軸角速度能量與相應校正系數的乘積之和，則判定該軸為角速度能量最大軸；若上述情形均不滿足，則判定角速度能量最大軸不存在；

步驟五、針對角速度能量最大軸分別為X軸、Y軸或Z軸的情形，分別提取最大軸對應的加速度和/或角速度的特征序列；

步驟六、將角速度能量最大軸對應的加速度和/或角速度的特征序列與用戶自定義的各手勢的特征序列進行匹配，判斷最大軸提取的特征序列是否與對應手勢的特征序列相同，如果是，進入步驟十一，否則，進入步驟七；

步驟七、針對角速度能量最大軸不存在，或角速度能量最大軸對應的加速度和/或角速度的特征序列與用戶自定義的各手勢的特征序列均不匹配的情形，則分別計算X軸、Y軸、Z軸的加速度能量，尋找加速度能量最大軸；

加速度能量定義為

式中，E_k,ac為k軸加速度能量；a_ki為第i幀數據中的k軸加速度；a_kgi為第i幀數據中的k軸重力加速度分量；

尋找加速度能量最大軸方法如下：

若某一軸加速度能量大于另兩軸加速度能量與相應校正系數的乘積之和，則判定該軸為加速度能量最大軸；若上述情形均不滿足，則判定加速度能量最大軸不存在；

步驟八、針對加速度能量最大軸分別為X軸、Y軸或Z軸的情形，分別提取最大軸對應的加速度和/或角速度的特征序列；

步驟九、將加速度能量最大軸對應的加速度和/或角速度的特征序列與用戶自定義的各手勢的特征序列進行匹配，判斷最大軸提取的特征序列是否與對應手勢的特征序列相同，如果是，進入步驟十一，否則，進入步驟十；

步驟十、針對加速度能量最大軸不存在，或該動作尚未被判斷為任意一種手勢的情形，依次對提取的最大軸對應的至少一個加速度和/或角速度的特征序列進行組合，繼續與后續的設定手勢G₇、G₈…的特征序列進行匹配；

步驟十一、當某個提取的特征序列與用戶自定義的手勢的特征序列匹配時，進行各手指彎曲狀態的判斷；

步驟十二、綜合判斷得到的手勢種類以及各手指的彎曲狀態，給出用戶做出動作的識別結果。

3.如權利要求2所述的基于手套采集的手勢識別方法，其特征在于，步驟二中所述的數據包括：彎曲傳感器的輸出電阻，慣性測量單元X、Y、Z三軸的加速度及角速度。