[發明專利]一種基于立體視覺的虛擬觸摸板方法

在審

• 申請號: 201610898268.0
• 申請日: 2016-10-10
• 公開（公告）號: CN107918507A
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 郝剛;梁鵬;鄭振興;吳玉婷
• 申請（專利權）人: 廣東技術師范學院
• 主分類號: G06F3/042
• 分類號: G06F3/042
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于計算機視覺交互，涉及一種基于立體視覺的虛擬觸摸板方法。

背景技術

近些年來，便攜鍵盤和鼠標雖然能夠完成大部分的交互任務，但需要完全占據用戶的雙手和注意力，在交互的自然性和靈活性方面存在很大的局限性。而基于視覺的人機交互通過成像設備獲取交互場景中包含人的視頻圖像，采用視覺算法對人的行為和交互意圖進行識別、理解和描述，提供一種以人為中心的自然的人機交互方式。

人類最習慣用雙手與外界進行大部分交互操作，因此基于視覺的手勢交互也受到了廣泛的關注和研究。經過多年的研究，基于視覺的人機交互技術取得許多進展，但仍然存在許多困難和挑戰。

基于穿戴視覺的手勢交互系統允許用戶自由運動到任何地方，也可以與計算機分享穿戴者的視覺體驗，但穿戴環境下人機交互方式的自然性、多樣性和人性化等因素都會對交互體驗產生重要的影響。

專利“一種基于雜亂背景中的手勢跟蹤方法，申請號CN201510401525.0”，采用在LUV色彩空間中對每一幀圖像進行直方圖分割，再將分割的不同區域按照膚色的可能性大小排序，通過計算當前幀的不同區域同前面幀中手勢區域的距離大小以及對應的每個區域中的運動像素點的個數，確定當前幀的手勢區域，并記錄手勢信息。

專利“指示手勢的手指尖定位方法，申請號CN200910198196.9”，是根據指示手勢行為中的指示手勢的手部特征，自動確定指示手勢的手指尖位置。采用背景差分法，提取指示手勢對象，運用膚色分割方法，提取指示手勢的手部區域，根據指示手勢的手指尖位于指示手勢的手部邊沿輪廓且距離指示手勢的手指區域重心最遠處，自動確定手指尖點。

專利“手勢操作方法、利用手勢定位屏幕光標的方法及手勢系統，申請號CN201510731772.7”，先獲取用戶的至少一個特征部位，以所述特征部位所在位置為參考，生成與所述特征部位的位置具有固定相對位置關系的虛擬操作空間，檢測所述虛擬操作空間中的手勢，并執行相應的操作。

上述前兩個發明主要利用膚色特征先進行人手分割然后進行識別和跟蹤，雖然基于顏色的人手跟蹤算法簡單易用，但是對光照條件的變化敏感，很難適應穿戴計算中多變的環境。

上述第3個發明雖然可以獲取手勢的三維信息，但需提前選定至少一個參照物，且無法區分穿戴者的行為意圖。

發明內容

本發明目的在于利用虛擬觸摸板提供的空間約束，以一種自然的方式區分穿戴者的交互行為和隨意行為，有效解決了視覺交互中無法區分穿戴者行為意圖的問題。此外，針對穿戴環境下光照條件和背景變化的不確定性，提出了基于ICONDENSATION框架融合輪廓與LBP特征的CL-PGT算法實現指示手勢的跟蹤。

為解決上述技術問題，本發明采用如下的技術方案：一種基于立體視覺的虛擬觸摸板方法，包括以下步驟：

S1，融合多條視覺線索實現指示手勢的跟蹤；

S2，結合深度信息和攝像機成像模型計算得到指尖的三維位置；

S3，給出虛擬觸摸板的定義，并結合指尖的三維位置與虛擬觸摸板的深度信息，實現人機交互操作。

進一步地，本發明的步驟S1中，是通過基于ICONDENSATION框架融合輪廓與LBP特征的CL-PGT(即Contour and Lbp based Pointing Gesture Tracking)算法實現指示手勢的跟蹤。

ICONDENSATION框架是通過引入重要采樣機制對CONDENSATION算法(出自論文CONDENSATION-Conditional density propagation for visual tracking，作者M.Isard、A.Blake，International Journal of Computer Vision(IJCV)，1998，29(1)：5-28.)進行的擴展，而CONDENSATION算法實際上是粒子濾波器(出自論文Novel approach to non-linear and non-gaussion Bayesian state estimation，作者Gordon N、Salmond D，ProcofInstitute Electric Engineering，1993，140(2)：107-113.)的一種變形。

此跟蹤算法同時采用運動模型和重要采樣兩種方式對粒子的狀態進行預測，即綜合考慮時空約束和基于深度線索的啟發式信息來提高粒子采樣的準確性和效率。