[發明專利]單臂機器人基于Kinect的無標記人手跟蹤方法

無效

• 申請號: 201210271018.6
• 申請日: 2012-07-31
• 公開（公告）號: CN102830798A
• 公開（公告）日: 2012-12-19
• 發明（設計）人: 張平;杜廣龍;李澤玲
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

技術領域

本發明涉及人機交互技術技術領域，特別涉及一種單臂機器人基于Kinect的無標記人手跟蹤方法。

背景技術

計算機視覺技術以及人工智能技術的進步使得機器人能夠自主執行越來越多的復雜任務。然而，在環境高度非結構化、物體外形未知以及動作未知的應用環境下，人類的智能決策對于整個遙操作方案來說還是必不可少的。人機交互方式是操作員的智能決策控制機器人運動的橋梁，是整個遙操作方案是否有效可行的關鍵技術。

在常見的機器人遙操作方案中，搖桿、仿機器人外形的控制器等接觸式的機械設備是經常被用作操作員和機器人之間交互的工具。但是，這類控制器的最大缺點是需要操作員進行專業性的手臂動作對機器人進行控制，這就需要操作員具備一定的操作經驗才能有效的對機器人進行準確的控制。

另一種遙操作方案中，人機交互方式便是采用對人手的位置和位姿進行實時跟蹤的系統。這類設備有電磁跟蹤設備、慣性傳感器與數據手套等。這些都屬于接觸式的傳感器；因此缺點也很明顯，就是會阻礙操作員正常的手部動作。

相對于上述提到的人機交互技術，基于攝像系統的視覺交互技術有著明顯的優勢。由于是非接觸式的，因此整個操作方式是非侵入式的，對操作員的干擾會大大減少。在人機交互、機器人和自動化、虛擬現實和增強現實及監控和生物機械學等領域，基于攝像系統的視覺交互技術都得到了研究和應用。在這類交互技術中，結合了手勢識別和語音識別的控制方式讓操作員能以更直觀和自然的命令方式去進行控制，有效避免了接觸式設備所帶來的干擾。

然而，在這種控制方式下，被控機器人的動作一般是由一系列的簡單命令去組成，例如旋轉、上移，下移，抓取等。當被控機器人的動作復雜度要求較高的時候，要將其轉化成簡單命令的序列就十分困難。單攝像頭的手部動作跟蹤已經被應用在機器人遙操作和遙操作的模擬上。然而，動作命令只局限在真正的末端執行器自由度的子集里。此外，那些與特定的操作任務無關的手勢被用來改變機器人的操作模式，這些都造成了操作任務的交流不自然。理想地，一種自然的不用將復雜的任務分解為有限指令和沒有接觸式物理裝置限制的方法被人們所需要。

發明內容

本發明的發明目的是針對現有人機交互技術的技術不足，提供一種單臂機器人基于Kinect的無標記人手跟蹤方法。

為實現上述發明目的，本發明采用的技術方案為：

提供一種單臂機器人基于Kinect的無標記人手跟蹤方法，其中,Kinect為3D體感攝影機；包括以下步驟：

S1、通過3D體感攝影機獲取深度圖像且通過深度傳感器對手臂進行識別；

S2、通過包含了手臂的深度圖像分析確定食指和拇指的位置；

S3、使用差分定位方法增加食指和拇指的定位精度。

優選地，所述步驟S1包括如下步驟：

S11、設Kinect獲取的深度圖像D(i,j)保存三原色圖像所有像素的所有深度信息；設操作者和3D體感攝影機的距離都大于T(m)，而且中間沒有任何其他物體遮擋；對于深度圖像D(i,j)中所有的i和j來說，操作者肢體圖像C_b(i,j)滿足：

???(1)；

其中，d(i,j)是深度圖像D中的像素，n是d的寬，m是d的高；

S12、當操作者伸出手控制機器人時，他的手臂會比他的身體更加靠近3D體感攝影機；首先計算包括整個身體的深度值中值，得到：

??(2)；

S13、然后劃分手臂的區域A(i,j)：

???(3)。

優選地，所述步驟S2包括以下步驟：

S21、拇指尖T和食指尖I的位置由包含了手臂的圖像確定,且食指尖和拇指尖之間的部位為B；手臂區域A3d(x,y,z)被重構成A(i,j)；對于A(i,j)中所有二維的點(i,j)，其三維形式是：

A_3d(x,y,z)=[i,j,d(i,j)]??(4)；