[實(shí)用新型]虛擬影像與真實(shí)場(chǎng)景相結(jié)合的舞臺(tái)交互集成系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201320751532.X
• 申請(qǐng)日: 2013-11-25
• 公開(kāi)（公告）號(hào): CN203630822U
• 公開(kāi)（公告）日: 2014-06-04
• 發(fā)明（設(shè)計(jì)）人: 趙松德;郭樹(shù)濤;孫濤;趙煜;張紅武;崔德靖;蘇宏程
• 申請(qǐng)（專(zhuān)利權(quán)）人: 恒德數(shù)字舞美科技有限公司
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06K9/62;G06F3/01
• 代理公司: 北京捷誠(chéng)信通專(zhuān)利事務(wù)所(普通合伙) 11221
• 代理人: 魏殿紳;龐炳良

1.虛擬影像與真實(shí)場(chǎng)景相結(jié)合的舞臺(tái)交互集成系統(tǒng)，其特征在于，包括：

行為采集單元，采集用于生成表演者的表演行為的訓(xùn)練數(shù)據(jù)或現(xiàn)場(chǎng)數(shù)據(jù)；

行為學(xué)習(xí)單元，利用支持向量機(jī)分類(lèi)器學(xué)習(xí)所述訓(xùn)練數(shù)據(jù)，得到表演者的預(yù)設(shè)行為；利用所述現(xiàn)場(chǎng)數(shù)據(jù)得到表演者的現(xiàn)場(chǎng)行為；

表演意圖分析單元，根據(jù)表演者的當(dāng)前現(xiàn)場(chǎng)行為與相應(yīng)預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖；

布景單元，其上保存有與表演者的表演意圖相對(duì)應(yīng)的多個(gè)場(chǎng)景，所述布景單元根據(jù)所述表演意圖，選擇相應(yīng)的場(chǎng)景加載到舞臺(tái)上；所述場(chǎng)景包括相應(yīng)的聲音、燈光、靜態(tài)畫(huà)面和動(dòng)態(tài)畫(huà)面。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行為采集單元包括：

多個(gè)輕型慣導(dǎo)傳感輸入設(shè)備，分別固定在表演者的頭部、軀干部以及上肢和下肢上，每個(gè)所述輕型慣導(dǎo)傳感輸入設(shè)備實(shí)時(shí)采集表演者各關(guān)節(jié)的運(yùn)動(dòng)學(xué)姿態(tài)訓(xùn)練數(shù)據(jù)或姿態(tài)現(xiàn)場(chǎng)數(shù)據(jù)；

3D重構(gòu)單元，根據(jù)所述姿態(tài)訓(xùn)練數(shù)據(jù)重構(gòu)表演者的三維預(yù)設(shè)模型，根據(jù)所述姿態(tài)現(xiàn)場(chǎng)數(shù)據(jù)重構(gòu)表演者的三維現(xiàn)場(chǎng)模型；

所述預(yù)設(shè)行為為預(yù)設(shè)姿態(tài)，所述現(xiàn)場(chǎng)行為為現(xiàn)場(chǎng)姿態(tài)，所述行為學(xué)習(xí)單元利用所述三維預(yù)設(shè)模型創(chuàng)建表演者的姿態(tài)訓(xùn)練集，并利用所述姿態(tài)訓(xùn)練集獲得表演者的預(yù)設(shè)姿態(tài)；利用所述姿態(tài)現(xiàn)場(chǎng)數(shù)據(jù)獲得表演者的現(xiàn)場(chǎng)姿態(tài)。

3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行為采集單元包括：

3D體感攝影機(jī)，采集表演者的表情和語(yǔ)音訓(xùn)練數(shù)據(jù)或表情和語(yǔ)音現(xiàn)場(chǎng)數(shù)據(jù)；

所述預(yù)設(shè)行為為預(yù)設(shè)表情和預(yù)設(shè)語(yǔ)音，所述現(xiàn)場(chǎng)行為為現(xiàn)場(chǎng)表情和現(xiàn)場(chǎng)語(yǔ)音，所述行為學(xué)習(xí)單元利用所述表情和語(yǔ)音訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的表情和語(yǔ)音訓(xùn)練集，并利用所述表情和語(yǔ)音訓(xùn)練集獲得表演者的預(yù)設(shè)表情和預(yù)設(shè)語(yǔ)音；利用所述表情和語(yǔ)音現(xiàn)場(chǎng)數(shù)據(jù)獲得表演者的現(xiàn)場(chǎng)表情和現(xiàn)場(chǎng)語(yǔ)音。

4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行為采集單元包括：

動(dòng)作捕捉單元，采集表演者的動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場(chǎng)數(shù)據(jù)，所述動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場(chǎng)數(shù)據(jù)包括表演者運(yùn)動(dòng)過(guò)程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)；

所述預(yù)設(shè)行為為預(yù)設(shè)動(dòng)作，所述現(xiàn)場(chǎng)行為為現(xiàn)場(chǎng)動(dòng)作，所述行為學(xué)習(xí)單元利用所述動(dòng)作訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的動(dòng)作訓(xùn)練集，并利用所述動(dòng)作訓(xùn)練集獲得表演者的預(yù)設(shè)動(dòng)作；利用所述動(dòng)作現(xiàn)場(chǎng)數(shù)據(jù)獲得表演者的現(xiàn)場(chǎng)動(dòng)作。

5.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述行為采集單元上還設(shè)有校正模塊，利用某個(gè)已知的輕型慣導(dǎo)傳感輸入設(shè)備與相應(yīng)身體軀段間的空間關(guān)系以及人體生物機(jī)械模型對(duì)其他輕型慣導(dǎo)傳感輸入設(shè)備進(jìn)行校正。

6.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述行為采集單元上還設(shè)有表情處理單元，所述表情處理單元包括：

標(biāo)定模塊，分別采集每一個(gè)參考平面的散斑圖案數(shù)據(jù)，所述參考平面為沿所述3D體感攝影機(jī)的鏡頭方向由近及遠(yuǎn)依次間隔設(shè)置在舞臺(tái)上的虛擬垂直平面；

存儲(chǔ)模塊，存儲(chǔ)每一個(gè)所述參考平面的所述散斑圖案數(shù)據(jù)；

插值計(jì)算模塊，根據(jù)所述表情訓(xùn)練數(shù)據(jù)與每一個(gè)所述散斑圖案數(shù)據(jù)的互相關(guān)運(yùn)算結(jié)果，得到表演者的訓(xùn)練表情；根據(jù)所述表情現(xiàn)場(chǎng)數(shù)據(jù)得到所述現(xiàn)場(chǎng)表情。

7.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述行為采集單元上還設(shè)有圖像計(jì)算處理單元，所述圖像計(jì)算處理單元包括：

標(biāo)定模塊，通過(guò)對(duì)所述動(dòng)作捕捉識(shí)別單元的標(biāo)定得出其與投影影像之間的相對(duì)位置數(shù)據(jù)，

圖像處理模塊，根據(jù)對(duì)所述表演者運(yùn)動(dòng)過(guò)程的連續(xù)圖像數(shù)據(jù)進(jìn)行計(jì)算分析，得出在所述動(dòng)作捕捉識(shí)別單元中表演者運(yùn)動(dòng)過(guò)程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)，

坐標(biāo)轉(zhuǎn)換模塊，將動(dòng)作捕捉識(shí)別單元圖像坐標(biāo)系中的所述位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)轉(zhuǎn)換為在投影單元圖像坐標(biāo)系中的投影位置數(shù)據(jù)、投影方向數(shù)據(jù)和投影速度數(shù)據(jù)。

8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，

布景單元還包括若干個(gè)投影儀和亮帶消除模塊，布景單元上保存有與表演者的表演意圖相對(duì)應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像，布景單元根據(jù)表演者的表演意圖調(diào)用相應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像，并根據(jù)圖像計(jì)算處理單元得到的坐標(biāo)轉(zhuǎn)換結(jié)果，通過(guò)相應(yīng)的投影儀投影到舞臺(tái)上的相應(yīng)位置，亮帶消除模塊消除多個(gè)投影儀之間因?yàn)橥队胺秶诤隙a(chǎn)生的亮帶。