[發明專利]用于自然人機交互的多姿態指尖跟蹤方法

有效

• 申請號: 201610070474.2
• 申請日: 2016-01-29
• 公開（公告）號: CN105739702B
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 程洪;唐竟人;姬艷麗;李昊鑫
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種用于自然人機交互的多姿態指尖跟蹤方法，包括以下步驟：S1：采用Kinect2獲取RGBD數據，包括深度信息和彩色信息；S2：對手部區域進行檢測：通過顏色空間的轉換，把色彩轉換到對亮度反應不明顯的空間進而檢測膚色區域，然后通過人臉檢測算法檢測出人臉，從而排除人臉區域得到手部區域，并求出手部的中心點；S3：通過深度信息，并且結合HOG特征與SVM分類器對特定手勢進行識別、檢測；S4：通過前幾幀指尖的位置，再結合手部識別出來的區域進行一個當前跟蹤窗口的預測，然后通過基于深度的指尖檢測和基于形態的指尖檢測兩種模式對指尖進行檢測、跟蹤。本發明主要處理運動下的、各種姿態下的單一指尖的檢測與跟蹤，并且需要保證較高的精度和較好的實時性。

技術領域

本發明涉及一種用于自然人機交互的多姿態指尖跟蹤方法。

背景技術

人機交互(Human-Computer Interaction,HCI)是研究人與計算機之間通過相互理解的交流與通信，在最大程度上為人們完成信息管理、服務和處理等功能，使計算機真正成為人們工作學習的和諧助手的一門技術科學。3D指尖檢測、跟蹤技術是人機交互技術的一個重要分支，通過對指尖的形態、特征的描述實現檢測與跟蹤，實現對其它設備、系統的控制。該技術的最大優點是可以通過非常自然的指尖運動實現交互，例如替代電子筆、控制其它外部設備等。在目前的技術基礎上，有通過對手部關節骨骼點進行檢測與跟蹤從而來進行人機交互、控制的方式，但這種大范圍的手部運動存在二個重要缺點，一是會使用戶很快感覺到疲勞。二是這種交互方式不夠自然，對于一些精細的軌跡不能很好的表達。

對于現有的指尖檢測、跟蹤交互技術，可以分為在2D平面進行檢測、跟蹤與3D平面進行檢測、跟蹤。在2D下的檢測多是通過對曲率、凹凸點的檢測從而篩選出指尖，這種方式只能檢測、跟蹤在一定的姿態限定下平移的指尖，對于提取軌跡使用來說并不方便。在3D下的檢測有基于高斯混合模型等擬合方式來檢測、跟蹤指尖，但對手部運動具有一定的局限性。

本發明提出一種基于3D信息的多姿態下的指尖跟蹤方法來檢測、跟蹤用戶的指尖從而達成一種自然、有效的人機交互方式.本發明的特點是精度高并且可在各種姿態下跟蹤指尖、交互自然還可用來控制一些軟件、外設或者提取出軌跡作為“電子筆”來使用等。該系統利用3D攝像頭獲取RGBD信息即彩色和深度圖像，再結合圖像的信息來檢測、跟蹤用戶的指尖，從而實現一種很自然的人機交互方式。本發明主要處理運動下的、各種姿態下的單一指尖的檢測與跟蹤，并且需要保證較高的精度和較好的實時性。

申請號為CN201310407231.X的發明專利也提出了基于深度信息的一種指尖檢測方法，其主要的步驟包括手部分割及手心定位、指根定位、指尖檢測。它的核心思想是利用手部空間點云的深度圖轉化為一個圖模型，用圖模型表征了目標在空間上的表面像素分布，然后以手心為源點通過Dijkstra最短路徑算法計算出手心到所有輪廓點的最短路徑及其距離然后再定位指尖。與本發明相比首先對于手心的定位，它使用的是OpenNI的庫函數，而本發明不依賴于庫函數，適用范圍更廣。其次核心的檢測算法也是不一樣的。從性能上來說，他們提出的算法在指尖、手掌平面不與鏡頭平面平行時精度不是很高，本發明則沒有此問題并且本發明“手掌平面”可變換的范圍比他們更廣。

申請號為CN201310118060.9的發明專利公開了一種基于Kinect的視頻人手指尖定位方法。此發明也提出了一種單指尖跟蹤算法，他也分為兩種模式“最遠模式”和“最前模式”，對于“最遠模式”(相似于本文的基于形態的檢測模式)它是以手臂點為比較點，找手部區域相對于手臂點最遠點作為指尖點，而本發明是使用PCA尋找待選點，再通過上一幀進行指尖點的選取。對于模式的切換，他所采用的是基于掌心與指尖的連線與手臂點與掌心的連線的夾角作為切換條件，這會對手部的運動范圍產生限制，并且在很多情況下并不符合這種轉換模式的假設。而本發明所使用掌心的深度與極坐標下的長度所擬合出的函數則不會產生此問題。