[發明專利]基于Kinect的皮影戲遠程數字表演的體感控制方法

有效

• 申請號: 201210217372.0
• 申請日: 2012-06-28
• 公開（公告）號: CN102778953A
• 公開（公告）日: 2012-11-14
• 發明（設計）人: 溫巖;王長波;呂承辰;胡傳彥;段沖;喻光輝;陶怡莞;徐亞祎;馮曙光
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F19/00;G06K9/00
• 代理公司: 上海藍迪專利事務所 31215
• 代理人: 徐筱梅;張翔

技術領域

本發明涉及計算機數字多媒體及人機交互技術領域，具體地說是一種基于體感攝像頭（Kinect）的皮影戲遠程數字表演的體感控制方法。

背景技術

皮影戲作為世界非物質文化遺產，是我國的藝術瑰寶。傳統的皮影戲表演方法主要依靠實體舞臺和演員用線控制皮影做出動作進行表演。然而由于舞臺大小、演員數量等因素的制約，目前皮影戲藝術的推廣和傳播僅僅局限于相對較少的人群中。為了能夠借助計算機數字化地對皮影戲藝術文化的傳播和發揚，現有的技術通常將舞臺的皮影戲錄制，并單純地以視頻的方式借助計算機網絡進行數字傳播。然而，這種簡單地錄制皮影戲視頻的方法，無法滿足觀眾演員互動、靈活可變表演等現代的觀演需求。因此，在對皮影戲數字化的進程中，中國傳統皮影戲愛好者與藝術家們迫切需要一套將皮影戲表演完全數字化的解決方案。

體感控制是目前計算機人機交互領域的熱門研究方向。傳統的人機交互方法通常依賴于觸摸傳感器、鍵盤和鼠標，這樣的傳統交互方式逐漸無法滿足用戶更直觀更真實地控制計算機的需求。而新生的體感控制方法，其核心思想在于通過檢測和識別人體肢體動作，如軀干的伸展收縮、手勢變化和人位置移動等，在計算機端對人體動作做出解釋和反應，以達到更真實地操控計算機的目的。體感控制通常需要傳感器或者攝像頭等輔助設備，而目前市面上較為流行的體感設備主要有Kinect，Asus?Xtion，PS?Move等。Kinect體感攝像頭是微軟公司為Windows和Xbox平臺提供的體感控制輔助設備。通過Kinect體感攝像頭，計算機軟件和游戲開發人員可以實時地獲得攝像頭面前物體的深度圖像、色彩RGB圖像以及攝像頭面前所站人體各個關節的三維位置坐標（三維為：上下，左右和前后三個維度），并對這些圖像和坐標信息進行處理、解釋，從而制作出對人體動作做出相應反應的計算機軟件或游戲。

雖然利用微軟公司Kinect攝像頭可以方便地獲取人體骨骼各關節節點位置，然而對于利用Kinect進行人體手勢細節信息（如單個手指的伸展彎曲，手掌輪廓圖案等細節），因為涉及到細節識別、模式匹配等難題，包括微軟公司在內的各大公司目前都沒有提供完善的解決方法。現有的一些手勢識別理論研究，通常利用含有大批量手勢模型的數據庫，對計算機進行模式訓練（Computer?Training），使得計算機能夠掌握各個特定手勢的基本規律。這樣，當像計算機輸入新的手勢時，這種方法會根據此手勢與數據庫中的各手勢進行匹配，并將數據庫中與此輸入手勢最為接近的手勢作為識別結果輸出。這種基于機器學習的算法，非常依賴于現有的手勢數據庫，但不能夠主動地分析手勢的具體信息（如各個手指所指的方向、手指的數量、掌心位置或手掌寬度等），因此其擴展性較差，所成的結果也非常不直觀。

遠程桌面是一種成熟的借助因特網TCP/IP協議進行計算機遠程訪問的方法。目前主流的操作系統，如微軟視窗（windows）操作系統、Linux系統等都支持遠程桌面的協議。通過遠程桌面技術，客戶計算機可以訪問服務器主機，對服務器主機進行操作以及觀看服務器主機的視頻輸出等。

二值圖像即數字黑白圖像，圖像中所有的像素的色彩信息均由黑（1）或白（0）兩個值表示，因此被稱為二值圖像。在數字圖像處理中，二值圖像通常被廣泛運用在圖像分割中，有用的需要被保留的信息為黑色，而無用的信息則通通被置為白色背景。這樣，需要被分割出來的子圖會以極高的對比度被清晰地表現出來。因為二值圖像黑色信息與白色背景的交接非常直接明顯，因此二值圖像也被運用在目標物體的輪廓識別上。

發明內容

本發明的目的是針對現有技術的不足而提供的一種基于Kinect的皮影戲遠程數字表演的體感控制方法，該方法能使演員在kinect攝像頭前，通過揮動雙手配合肢體運動來操控皮影人物動作，使得皮影戲數字化表演成為了現實。

本發明的目的是這樣實現的：

一種基于Kinect的皮影戲遠程數字表演的體感控制方法，該方法包括以下步驟：

a、將Kinect體感攝像頭連接至主機服務器計算機，并將Kinect體感攝像頭置于演員正面，演員伸出手臂使得手掌以垂直于地面的角度靠近Kinect體感攝像頭，Kinect體感攝像頭生成了演員人體各關節位置信息；?

b、從Kinect體感攝像頭的各關節位置信息中讀取演員手的位置坐標，并通過Kinect輸出的深度圖像檢測演員的手勢信息，具體包括；?

ⅰ）從Kinect攝像頭輸出的深度圖像中讀取與手腕所在位置深度相同的子圖，并將子圖的像素灰度值置為1，圖像中其余部分像素灰度值設為0，得到演員手的輪廓二值黑白圖像；?