[發明專利]單臂機器人基于Kinect的無標記人手跟蹤方法

無效

• 申請號: 201210271018.6
• 申請日: 2012-07-31
• 公開（公告）號: CN102830798A
• 公開（公告）日: 2012-12-19
• 發明（設計）人: 張平;杜廣龍;李澤玲
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

1.一種單臂機器人基于Kinect的無標記人手跟蹤方法，其中,Kinect為3D體感攝影機；其特征在于包括以下步驟：

S1、通過3D體感攝影機獲取深度圖像且通過深度傳感器對手臂進行識別；

S2、通過包含了手臂的深度圖像分析確定食指和拇指的位置；

S3、使用差分定位方法增加食指和拇指的定位精度。

2.根據權利要求1所述的單臂機器人基于Kinect的無標記人手跟蹤方法，其特征在于：所述步驟S1包括如下步驟：

S11、設Kinect獲取的深度圖像D(i,j)保存三原色圖像所有像素的所有深度信息；設操作者和3D體感攝影機的距離都大于T(m)，而且中間沒有任何其他物體遮擋；對于深度圖像D(i,j)中所有的i和j來說，操作者肢體圖像C_b(i,j)滿足：

???(1)；

其中，d(i,j)是深度圖像D中的像素，n是d的寬，m是d的高；

S12、當操作者伸出手控制機器人時，他的手臂會比他的身體更加靠近3D體感攝影機；首先計算包括整個身體的深度值中值，得到：

??(2)；

S13、然后劃分手臂的區域A(i,j)：

???(3)。

3.根據權利要求1所述的單臂機器人基于Kinect的無標記人手跟蹤方法，其特征在于：所述步驟S2包括以下步驟：

S21、拇指尖T和食指尖I的位置由包含了手臂的圖像確定,且食指尖和拇指尖之間的部位為B；手臂區域A3d(x,y,z)被重構成A(i,j)；對于A(i,j)中所有二維的點(i,j)，其三維形式是：

A_3d(x,y,z)=[i,j,d(i,j)]??(4)；

然后把三維的點??A_3d(x,y,z)?投影到YOZ面：

A_YOZ(y,z)=?A_3d(0,y,z)=[j,d(i,j)]?(5)；

S22、定義最小投影函數：?

???(6)；

S23、通過一個極大值?y=y1和兩個極小值?y=y2及?y=y3確定最小投影函數；I的3D點就可以被重構為：

???(7)；

??(8)；

?(9)。

4.根據權利要求1所述的單臂機器人基于Kinect的無標記人手跟蹤方法，其特征在于：所述步驟S3包括以下步驟：

S31、B、?T?及I?的三維位置可以在世界坐標中計算出來；B、?T?及I的三維位置可以在世界坐標中計算出來；

在最后一幀中，B的三維位置為B’’(x,y,z)，機器人末端的參照位置為P’’(x,y,z)?；然后新的機器人末端參照位置被更新為：

???(10)；

u是一個確定機器人保持移動或者暫停的閾值；當L=0，操作者停止了對機器人的控制；?是一個可調的參數，通過修改的值來達到粗控制與微控制的效果。