[發明專利]基于人體骨骼追蹤控制智能電視的人機交互方法

在審

• 申請號: 201610017797.5
• 申請日: 2016-01-12
• 公開（公告）號: CN105681859A
• 公開（公告）日: 2016-06-15
• 發明（設計）人: 董文婷;徐凌宇
• 申請（專利權）人: 東華大學
• 主分類號: H04N21/422
• 分類號: H04N21/422;G06F3/01
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩

1.一種基于人體骨骼追蹤控制智能電視的人機交互方法，其特征在于，包括以 下步驟：

第一步、將智能電視與Kinect傳感器相連，在智能電視自帶的智能系統中 對是否進入姿態識別控制的手勢進行定義，將進入姿態識別控制及不進入姿態識 別控制定義為不同的手勢；

第二步、根據實際測量得到的人體手掌的大小，計算得到手掌區域的大小， 控制者做出手勢后，利用Kinect傳感器上的深度傳感器來獲取深度圖像，在該 深度圖像上根據計算得到的手掌區域大小及手掌坐標截取實時手掌圖像，對實時 手掌圖像進行二值化處理后，得到實時手勢圖；

第三步、將實時手勢圖與已定義的手勢進行比較，若為進入姿態識別控制， 則進入下一步，否則，Kinect傳感器繼續等待捕捉圖像；

第四步、進入姿態識別控制后，通過Kinect傳感器實現骨骼追蹤，完成真 人到虛擬人的映射，控制者以一只手的動作完成光標的移動，以另一只手的動作 完成功能操作，其中：

以一只手的動作完成光標的移動包括以下步驟：

提取虛擬人中的手肘點和手掌點，以手肘點為圓心，預設的長度為半徑做圓， 形成手肘圓，當手掌點位于手肘圓內或位于手肘圓上時，不進行操作，當手掌點 位于手肘圓外時，根據手肘圓圓心指向手掌點的方向來控制光標的移動方向；

以另一只手的動作完成功能操作包括以下步驟：

提取虛擬人中的手肘點和手掌點，以手肘點為圓心，預設的長度為半徑做圓， 形成手肘圓，當手掌點位于手肘圓內或位于手肘圓上時，不進行操作，當手掌點 位于手肘圓外時，將手肘圓外的區域劃分為不同區域，不同的區域對應不同的功 能操作，手掌點位于不同區域即進行不同的功能操作。

2.如權利要求1所述的一種基于人體骨骼追蹤控制智能電視的人機交互方法， 其特征在于，所述智能電視具有不同應用場景，則在所述第一步中還包括：在智 能電視自帶的智能系統中對不同應用場景對應的不同語音指令進行定義；

在所述第一步之后，并所述第二步之前還包括：

由Kinect傳感器接收控制者發出實時語音指令，智能系統對該實時語音指令 解析后將其與已定義的語音指令進行比對，進入相匹配的語音指令所對應的應用 場景。

3.如權利要求1所述的一種基于人體骨骼追蹤控制智能電視的人機交互方法， 其特征在于，在所述第四步中，根據手肘圓圓心指向手掌點的方向來控制光標的 移動方向包括以下步驟：

獲取手掌點和手肘圓圓心的距離m以及手肘圓的半徑r，則光標要移動的距 離d＝m-r，距離d越大則移動速度越快，越小則越慢。

4.如權利要求1所述的一種基于人體骨骼追蹤控制智能電視的人機交互方法， 其特征在于，在所述第四步中，根據手肘圓圓心指向手掌點的方向來控制光標移 動至小圖標的步驟包括：

將手肘圓內手掌點的位置和智能電視上對應位置進行了映射，手掌點在小圖 標區域內的所在位置等同于光標在智能電視中對應手肘圓同樣比例范圍的圓圈 內的位置。

5.如權利要求1所述的一種基于人體骨骼追蹤控制智能電視的人機交互方法， 其特征在于，在所述第四步中，判斷手掌點位于不同區域的方法包括以下步驟：

獲取手掌點和手肘圓圓心的坐標后，以手肘圓圓心定為原點，建立極坐標系， 手肘圓圓心指向手掌點的角度的范圍為-180°至180°，將該角度范圍劃分不同 角度范圍段，每個角度范圍段對應一個區域，實時計算手肘圓圓心指向手掌點的 角度，判斷該角度落入哪個角度范圍段內，則得到手掌點位于的區域。

6.如權利要求1所述的一種基于人體骨骼追蹤控制智能電視的人機交互方法， 其特征在于，在所述第二步中，對實時手掌圖像進行二值化處理后，從二值化后 的圖像上進行邊緣檢測，提取邊緣，進行平滑，然后利用多邊形逼近算法畫出整 個手掌的凸包并計算其凹缺陷點，通過判斷其凹凸點的格式來識別得到實時手勢 圖。