[發(fā)明專利]基于Kinect的皮影戲遠(yuǎn)程數(shù)字表演的體感控制方法

有效

• 申請?zhí)枺?/td>: 201210217372.0
• 申請日: 2012-06-28
• 公開（公告）號: CN102778953A
• 公開（公告）日: 2012-11-14
• 發(fā)明（設(shè)計(jì)）人: 溫巖;王長波;呂承辰;胡傳彥;段沖;喻光輝;陶怡莞;徐亞祎;馮曙光
• 申請（專利權(quán)）人: 華東師范大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F19/00;G06K9/00
• 代理公司: 上海藍(lán)迪專利事務(wù)所 31215
• 代理人: 徐筱梅;張翔

1.一種基于Kinect的皮影戲遠(yuǎn)程數(shù)字表演的體感控制方法，其特征在于該方法包括以下步驟：

a、將Kinect體感攝像頭連接至主機(jī)服務(wù)器計(jì)算機(jī)，并將Kinect體感攝像頭置于演員正面，演員伸出手臂使得手掌以垂直于地面的角度靠近Kinect體感攝像頭，Kinect體感攝像頭生成了演員人體各關(guān)節(jié)位置信息；?

b、從Kinect體感攝像頭的各關(guān)節(jié)位置信息中讀取演員手腕關(guān)節(jié)的位置坐標(biāo)，并通過Kinect輸出的深度圖像檢測演員的手勢信息，具體包括；?

ⅰ）從Kinect攝像頭輸出的深度圖像中分割出與手腕所在位置深度相同的子圖，并將子圖的像素灰度值置為1，圖像中其余部分像素灰度值設(shè)為0，得到演員手的輪廓二值黑白圖像；?

ⅱ）在演員手輪廓圖像中作最大內(nèi)切圓，定義此內(nèi)切圓的圓心即為掌心位置所在，定義此內(nèi)切圓的直徑為手掌寬度，定義此時(shí)手指個(gè)數(shù)為0；?

ⅲ）以掌心位置為圓心作手輪廓的切割圓，此圓半徑以手掌寬度的1/2為初始值，不斷增大；

ⅳ）當(dāng)某一時(shí)刻切割圓與手輪廓圖像相交，在形成的長度不等的交線線段中，選擇一條交線線段長度大于1/5手掌寬度且小于1/3手掌寬度，認(rèn)定此交線為某一根手指的切割線段；?

ⅴ）以此切割線段為界，將手掌輪廓面積分割為兩部分：定義面積較大的部分為手掌圖像部分，面積較小的部分為手指圖像部分，手指個(gè)數(shù)加一；

ⅵ）根據(jù)手指圖像部分各像素點(diǎn)同掌心位置的距離的大小比較，取得手指圖像中距離掌心最遠(yuǎn)的點(diǎn)，定義此點(diǎn)為指尖，取其位置為此根手指尖的位置；

ⅶ）將此手指圖像部分從演員手輪廓圖像中消除，返回本步驟?ⅲ）繼續(xù)檢測其余手指，直至切割圓的半徑增大至手掌寬度的3/2，則停止檢測；

ⅷ）至此，掌心位置、手指個(gè)數(shù)、各手指位置全部檢測完畢，構(gòu)成演員的手勢信息；

c、由Kinect體感攝像頭得到演員的人體各關(guān)節(jié)點(diǎn)位置，通過人體到皮影的映射運(yùn)算，生成數(shù)字皮影人物圖片形象數(shù)據(jù)，具體包括：?

ⅰ）從Kinect體感攝像頭中讀取演員各關(guān)節(jié)節(jié)點(diǎn)的三維位置信息；

ⅱ）將所有關(guān)節(jié)節(jié)點(diǎn)三維位置信息中的Z軸信息刪除，得到演員關(guān)節(jié)節(jié)點(diǎn)的二維位置信息；

ⅲ）將各關(guān)節(jié)節(jié)點(diǎn)二維位置形成樹狀結(jié)構(gòu)，其中臀部關(guān)節(jié)位置為肩膀關(guān)節(jié)位置和左右膝蓋位置的父節(jié)點(diǎn)位置；肩膀關(guān)節(jié)位置為左右肘關(guān)節(jié)位置和頭關(guān)節(jié)位置的父節(jié)點(diǎn)位置；左肘關(guān)節(jié)位置為左手腕關(guān)節(jié)位置的父節(jié)點(diǎn)位置；右肘關(guān)節(jié)位置為右手腕關(guān)節(jié)位置的父節(jié)點(diǎn)位置；左膝蓋關(guān)節(jié)位置為左腳踝關(guān)節(jié)位置的父節(jié)點(diǎn)位置；右膝蓋關(guān)節(jié)位置為右腳踝關(guān)節(jié)位置的父節(jié)點(diǎn)位置；

ⅳ）根據(jù)樹狀的層次關(guān)系，將子節(jié)點(diǎn)位置與父節(jié)點(diǎn)位置求差，得到演員人體十塊骨骼向量，其十塊骨骼分別為：頭部關(guān)節(jié)節(jié)點(diǎn)與肩膀關(guān)節(jié)節(jié)點(diǎn)所夾骨骼為頭骨骼，肩膀關(guān)節(jié)節(jié)點(diǎn)與臀部關(guān)節(jié)節(jié)點(diǎn)所夾骨骼為軀干骨骼，左右肘關(guān)節(jié)節(jié)點(diǎn)與肩膀關(guān)節(jié)節(jié)點(diǎn)所夾骨骼分別為左右上臂骨骼，左右手腕關(guān)節(jié)節(jié)點(diǎn)與左右肘關(guān)節(jié)節(jié)點(diǎn)所夾骨骼分別為左右下臂骨骼，左右膝蓋關(guān)節(jié)節(jié)點(diǎn)與臀部關(guān)節(jié)節(jié)點(diǎn)所夾骨骼分別為左右大腿骨骼，左右腳踝關(guān)節(jié)節(jié)點(diǎn)與左右膝蓋關(guān)節(jié)節(jié)點(diǎn)所夾骨骼分別為左右小腿骨骼；

ⅴ）定義各骨骼向量與豎直方向的夾角為此骨骼的旋轉(zhuǎn)角θ；

ⅵ）將傳統(tǒng)皮影戲人物道具拆解，形成十塊骨骼，分別是頭、軀干、左右上臂、左右下臂、左右大腿及左右小腿骨骼，掃描入計(jì)算機(jī)，形成十幅數(shù)字皮影人物骨骼圖片；

ⅶ）由演員人體頭、軀干、左右上臂、左右大腿六塊骨骼的旋轉(zhuǎn)角度信息及數(shù)字皮影人物中對應(yīng)骨骼的長度值，通過以下公式，計(jì)算得到數(shù)字皮影人物的六個(gè)關(guān)鍵軸承點(diǎn)的位置坐標(biāo)，其六個(gè)關(guān)鍵軸承點(diǎn)為：數(shù)字皮影人物的肩膀、臀部、左右肘關(guān)節(jié)及左右膝蓋關(guān)節(jié)位置；

????????????????????????????????????????????????

其中：child為此塊骨骼的末梢節(jié)點(diǎn)，father為此塊骨骼的上端節(jié)點(diǎn)，Lchild→father為數(shù)字皮影人物中子節(jié)點(diǎn)與父節(jié)點(diǎn)所夾骨骼的長度值，θ為演員人體骨骼向量與豎直方向的夾角；

ⅷ）將十幅數(shù)字皮影人物骨骼圖片分別平移至各自骨骼的父節(jié)點(diǎn)即關(guān)鍵軸承點(diǎn)位置，分別為：頭部平移至肩膀關(guān)節(jié)處；左上臂平移至肩膀關(guān)節(jié)處；右上臂平移至肩膀關(guān)節(jié)處；左下臂平移至左肘關(guān)節(jié)處；右下臂平移至右肘關(guān)節(jié)處；軀干平移至臀部關(guān)節(jié)；左大腿平移至臀部關(guān)節(jié)處；右大腿平移至臀部關(guān)節(jié)處；左小腿平移至左膝關(guān)節(jié)處；右小腿平移至右膝關(guān)節(jié)處；

ⅸ）將平移至各關(guān)節(jié)處的十幅數(shù)字皮影人物骨骼圖片分別根據(jù)十塊演員人體骨骼的旋轉(zhuǎn)角度、以數(shù)字皮影人物各骨骼對應(yīng)的關(guān)節(jié)處為旋轉(zhuǎn)中心，進(jìn)行旋轉(zhuǎn)，在主機(jī)服務(wù)器計(jì)算機(jī)內(nèi)生成數(shù)字皮影人物圖片形象數(shù)據(jù)；

d、演員通過手激活步驟b第ⅷ）步的手勢信息控制主機(jī)服務(wù)器計(jì)算機(jī)進(jìn)行皮影戲的表演，利用因特網(wǎng)連接遠(yuǎn)程客戶端計(jì)算機(jī)，使遠(yuǎn)程客戶端計(jì)算機(jī)屏幕可觀賞到皮影戲的表演。