[發明專利]一種手勢識別系統及方法

有效

• 申請號: 201410366480.3
• 申請日: 2014-07-29
• 公開（公告）號: CN104111733B
• 公開（公告）日: 2017-03-08
• 發明（設計）人: 朱燕民;馬海蔚;貝澤華;龔虹宇
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 上海思微知識產權代理事務所(普通合伙)31237
• 代理人: 鄭瑋

技術領域

本發明涉及一種手勢識別系統及方法，特別是涉及一種基于智能手機的加速度、方向和磁場傳感器的手勢識別系統及方法。

背景技術

隨著智能手機的不斷普及、隨著手機性能的不斷提高，便攜的智能手機已經在一定程度上能夠替代電腦的作用，對于絕大多數人來說，智能手機變得愈發重要。而加速度、方向和磁場傳感器基本是每部智能手機的標準配備，它們能夠較為準確地捕捉到用戶周圍的感知數據，采集用戶的行為數據。而很多時候，用戶不能或不想直接通過觸摸屏或鍵盤輸入信息，那么這時該如何得知用戶想要手機完成什么樣的任務呢？語音識別是一種方法，手勢識別就是另一種可替代的方法，它不需要用戶將注意力集中在手機屏幕或鍵盤上，只是簡單地揮一揮手機或做出其他手勢，便可以準確地進行信息輸入，使手機完成相關的任務。出于這樣的原因，手勢信息輸入作為一種能夠有效替代觸摸屏、鍵盤的信息輸入方法，其優勢愈發凸顯。手勢信息輸入將在許多方面有所作為，包括手勢游戲、手勢播放器、手勢輸入法、幻燈片手勢操控等等。

考慮這樣一種場景，老師在課上授課，需要從講臺的電腦前走到黑板前進行板書或者走入同學之中，可是過一會他必須走回電腦前進行幻燈片的操作，比如翻頁。如此一來，便給他的教學帶來極大的不便。但是如果能夠通過手機的手勢識別，并結合數據傳輸，老師便可以利用手機遠程遙控幻燈片的操作。

監測并識別用戶手勢是基于前期采集的大量帶標記的特征數據訓練出來的模型進行的，如果模型不夠準確，那么經常會錯誤地識別手勢，嚴重影響用戶體驗。所以如何訓練出準確率更高、魯棒性更好的模型對于手勢識別系統來說非常重要。

因此，實有必要提出一種準確穩定、基于智能手機的手勢識別系統及其方法，針對用戶不同的手勢，識別并完成相應任務。

發明內容

為克服上述現有技術存在的不足，本發明之目的在于提供一種手勢識別系統及方法，其能夠在用戶無法或者不想通過觸摸屏或鍵盤進行信息輸入的情況下能通過手勢信息進行信息輸入來完成對應的任務，令智能手機用戶通過簡單地揮動手勢便能使手機完成相應的任務，為用戶增加帶來了便捷和樂趣，避免了傳統觸摸屏或鍵盤輸入需要將注意力集中在上面的缺點和傳統輸入方式的單調無聊。

為達上述及其它目的，本發明提出一種手勢識別系統，至少包括：

具有加速度、方向和磁場傳感器的智能移動終端，用于記錄用戶手勢的傳感器數據并進行特征提取，根據該些特征利用模型訓練平臺訓練獲得的訓練模型識別用戶手勢；

模型訓練平臺，對所述智能移動終端采集的多種用戶手勢的手勢特征進行標記及歸一化處理，并進行特征訓練學習，獲得所述訓練模型。

進一步地，所述智能移動終端包括：

加速度的坐標轉換單元，用于將通過加速度傳感器采集的加速度從手機坐標系轉換到地面坐標系；

手勢起始終止時間的判斷單元，用于確定手勢的起始終止時間；

傳感器數據記錄單元，利用文件讀寫語句將每次手勢動作的傳感器數據寫入移動終端的內存；

手勢特征提取單元，負責對每幀手勢動作進行特征值提取，得到每個手勢動作頻域時域上長度為45的總體特征描述子；

手機端手勢數據歸一化單元，用于對該手勢特征提取單元獲得的45個特征值進行歸一化處理；

手勢識別單元，對歸一化的特征進行分類預測并予以識別。

進一步地，該加速度的坐標轉換單元首先獲取加速度、方向、磁場傳感器的原始數據，然后根據坐標軸變換原理，將該原始數據變換到地面坐標系的對應數據。

進一步地，該手勢起始終止時間的判斷單元首先計算相鄰時刻的三維加速度的差值的絕對值的和，如果其大于預先設定的閾值并且上一個手勢已經結束，新的手勢還未開始，則標記在該時刻開始了新的手勢；如果其小于預先設定的閾值并且手勢開始而尚未結束，則標記手勢在該時刻結束，否則什么也不做。

進一步地，該手勢提取特征單元提取特征的步驟如下：

將收集到的對地三維加速度進行幀間等長的分幀處理，共分為3幀；

根據每幀的數據計算出15個特征值，共得到45個特征值。

進一步地，該模型訓練平臺為離線的基于Android編程軟件Eclipse和機器學習庫libsvm的電腦端，該手勢數據標記單元、該平臺端手勢數據歸一化單元以及該手勢建模識別單元由開源庫libsvm中所包含的功能直接實現。

為達到上述目的，本發明還提供一種手勢識別方法，包括如下步驟：