[發明專利]一種支持用戶自定義手勢的多點觸控應用程序開發方法

有效

• 申請號: 201210044289.8
• 申請日: 2012-02-24
• 公開（公告）號: CN102622225A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 劉曉平;李琳;張光劉;陸勁挺;謝文軍
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F3/041
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 何梅生

技術領域

本發明涉及多點觸控設備，尤其涉及一種支持用戶自定義手勢的多點觸控應用程序開發方法。

背景技術

在本領域中，多點觸控設備是已知的。多點觸控設備能夠在同一時刻能夠檢測到多個觸點的設備，改變了單點觸控環境下由手指點擊的單一交互操作，使得用戶可以同時用多個手指畫出軌跡并映射到操作指令完成手勢交互或者是多個用戶之間的協同手勢交互；這種“以用戶為中心”自然高效的交互技術已經應用于眾多領域，例如電子沙盤、電子指揮所、會議協同討論、電子游戲、輔助教育等。

目前基于多點觸控的手勢應用與研究，可以總結為三方面；其一，研究多點觸控技術的具體實現原理，不同物理設備平臺上的觸點檢測與追蹤、觸點空間位置的定位以及觸點狀態的檢測，如按下、移動和釋放狀態；其二、與多點觸控技術實現原理無關，而是借助于多點觸控設備進行手勢相關研究，手勢描述與手勢識別的方法與框架；其三，從人類工效學角度提出多點手勢和協同手勢的設計規則。基于計算機視覺和模式識別的姿態識別方法研究中，將姿態分為靜態姿勢和動態姿勢，姿態識別的對象可分為頭部、臉部、眼睛、手部、身體等；并討論適合某種姿勢的識別方法，靜態姿勢識別方法一般分為模板匹配、模式識別以及神經網絡的方法；動態姿勢識別的方法一般分為基于壓縮時間軸、基于動態時間規整、基于隱馬爾可夫模型以及延時神經網絡方法。

以上所述方法中，多數應用于基于計算機視覺的手勢識別中，且需要為手勢的定義提供大量樣本用以訓練分類器；一旦有新的手勢加入時，需要提供大量的手勢訓練樣本，此類方法使得手勢擴展增加負擔；此外，基于這種方法所定義的手勢不能夠由終端用戶來指定，終端用戶需要對手勢操作進行學習和記憶，無法體現以用戶為中心的人機交互理念。

發明內容

本發明是為避免上述現有技術所存在的不足之處，提供一種支持用戶自定義手勢的多點觸控應用程序開發方法，以使得開發者能夠方便快捷地開發出多點觸控應用程序；并能夠讓用戶依據自己的習慣來定義手勢，所提供的工具箱界面友好，交互性能強，體現了更加人性化、個性化的設計思想。

本發明為解決技術問題采用如下技術方案：

本發明支持用戶自定義手勢的多點觸控應用程序開發方法，采用支持多點觸控的設備，所述多點觸控設備能夠返回觸點的二維坐標點數據，其特征是：設置一提供給開發者用于實現多點觸控應用程序開發的工具箱，所述工具箱中包含手勢標識注冊模塊、手勢定義模塊、手勢導向模塊以及手勢描述和識別模塊；開發者按照以下步驟使用工具箱實現多點觸控應用程序實例開發：

a)開發者在多點觸控應用程序實例中使用所述手勢標識注冊模塊注冊手勢標識和配置手勢狀態；按照已配置的手勢狀態實現手勢響應操作；

b)開發者在多點觸控應用程序實例中使用所述手勢定義模塊為用戶提供手勢定義視圖；由用戶完成手勢定義并將手勢標識與已定義手勢之間進行映射，可以將多個定義的手勢映射到同一個手勢標識，但不可將一個定義的手勢映射到多個手勢標識；手勢導向模塊為用戶定義手勢提供消解二義性手勢界面，導向用戶定義出無二義性的手勢。

2、在所述手勢描述和識別模塊中，手勢是由一個或一個以上元手勢之間按照時序邏輯和空間位置邏輯約束組合而成；手勢描述是由手勢軌跡的形狀特征、方向特征、時序邏輯特征和空間位置特征來表征；手勢識別是由元手勢個數相似度、形狀相似度、方向相似度、時序邏輯和空間位置相似度匹配測度來衡量。

3、所述元手勢是不可再被分解的手勢，按如下步驟獲取元手勢：

a)手勢定義模塊采集多點觸控設備返回的觸點空間位置二維坐標點數據，如果當前有多條軌跡，則判斷各軌跡間的彼此時間間隔是否小于設定閾值，若時間間隔小于設定閾值，則視為有效數據；否則丟棄數據，并通知用戶當前操作無效；

b)利用關鍵軌跡點選取算法對步驟a)獲得的有效數據進行重新采樣，獲得采樣數據；

c)對步驟b)得到的采樣數據提取手勢軌跡的形狀特征和方向特征，從而獲取元手勢。

4、所述手勢軌跡的形狀特征、方向特征、時序邏輯特征和空間位置特征分別為：

a)形狀特征：將元手勢軌跡分為點、直線和曲線，計算點的尺寸大小、直線的斜率和曲線的曲率參數，以及元手勢軌跡的長度作為形狀特征的特征值；

b)方向特征：方向特征集合形式化描述為其中，p_i為元手勢軌跡的相鄰關鍵軌跡點；

c)時序邏輯特征：按照元手勢之間的先后時序關系，限定為先后發生、同時發生或交疊發生的時序邏輯特征，時序邏輯描述為：