[發(fā)明專利]虛擬形象的線下展演系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810031219.6
• 申請(qǐng)日: 2018-01-12
• 公開（公告）號(hào): CN108305308A
• 公開（公告）日: 2018-07-20
• 發(fā)明（設(shè)計(jì)）人: 曹介白;史京迪
• 申請(qǐng)（專利權(quán)）人: 北京蜜枝科技有限公司
• 主分類號(hào): G06T13/20
• 分類號(hào): G06T13/20;G06T13/40
• 代理公司: 北京合智同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰

本申請(qǐng)實(shí)施例提供了一種虛擬形象的線下展演系統(tǒng)及方法，包括采集前臺(tái)場(chǎng)景影像以生成前臺(tái)影像數(shù)據(jù)以及采集前臺(tái)場(chǎng)景聲音以生成前臺(tái)音頻數(shù)據(jù)；傳輸所述前臺(tái)場(chǎng)景影像數(shù)據(jù)以及所述前臺(tái)音頻數(shù)據(jù)至后臺(tái)予以同步顯示及播放，以供位于后臺(tái)的實(shí)際形象以執(zhí)行動(dòng)作的方式及/或聲音回答的方式予以回應(yīng)；并采集所述實(shí)際形象的動(dòng)作以生成動(dòng)作數(shù)據(jù)及/或采集所述實(shí)際形象的聲音以生成后臺(tái)音頻數(shù)據(jù)；將所述動(dòng)作數(shù)據(jù)轉(zhuǎn)換為動(dòng)作驅(qū)動(dòng)指令以實(shí)時(shí)驅(qū)動(dòng)所述虛擬模型執(zhí)行動(dòng)作而產(chǎn)生虛擬動(dòng)畫；并實(shí)時(shí)傳輸所述虛擬動(dòng)畫及/或所述后臺(tái)音頻數(shù)據(jù)至前臺(tái)予以同步播放，借以提供虛擬形象與現(xiàn)場(chǎng)觀眾實(shí)時(shí)互動(dòng)的線下展演效果。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及一種線下展演技術(shù)，尤其涉及一種虛擬形象的線下展演系統(tǒng)及方法。

背景技術(shù)

目前涉及虛擬形象的現(xiàn)場(chǎng)展演活動(dòng)，大都需要提前制作好虛擬形象的動(dòng)畫影像，然后通過視頻設(shè)備將虛擬形象的動(dòng)畫影像投放到現(xiàn)場(chǎng)大屏幕上進(jìn)行展演。

然，此種展演方式并無法提供現(xiàn)場(chǎng)觀眾與虛擬形象之間進(jìn)行實(shí)時(shí)互動(dòng)，也就是說，虛擬形象的所有表演流程只能按照預(yù)先設(shè)計(jì)的腳本來進(jìn)行，不具有任何的靈活性，造成現(xiàn)場(chǎng)觀眾無法真正參與到其中，大大降低了觀眾的觀看體驗(yàn)及虛擬形象的表演效果。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例所解決的技術(shù)問題之一在于提供一種虛擬形象的線下展演系統(tǒng)及方法，可實(shí)現(xiàn)虛擬形象在線下展演過程中與現(xiàn)場(chǎng)觀眾之間實(shí)時(shí)互動(dòng)的展演效果。

本申請(qǐng)實(shí)施例提供了一種虛擬形象的線下展演系統(tǒng)，其特征在于，包括虛擬形象導(dǎo)入模塊，用于導(dǎo)入所述虛擬形象的虛擬模型；后臺(tái)影音采集模塊，用于實(shí)時(shí)采集位于后臺(tái)的實(shí)際形象的動(dòng)作以生成動(dòng)作數(shù)據(jù)，并采集所述實(shí)際形象的聲音以生成后臺(tái)音頻數(shù)據(jù)；前臺(tái)影音采集模塊，用于實(shí)時(shí)采集前臺(tái)場(chǎng)景影像以生成前臺(tái)影像數(shù)據(jù)，并采集前臺(tái)場(chǎng)景聲音以生成前臺(tái)音頻數(shù)據(jù)；虛擬模型驅(qū)動(dòng)模塊，用于將所述動(dòng)作數(shù)據(jù)轉(zhuǎn)換為動(dòng)作驅(qū)動(dòng)指令以實(shí)時(shí)驅(qū)動(dòng)所述虛擬模型執(zhí)行動(dòng)作，而產(chǎn)生所述虛擬形象的虛擬動(dòng)畫；視頻同步模塊，用于將所述虛擬動(dòng)畫實(shí)時(shí)傳輸至位于所述前臺(tái)的前臺(tái)視頻顯示介質(zhì)予以同步顯示，以及將所述前臺(tái)場(chǎng)景影像數(shù)據(jù)實(shí)時(shí)傳輸至位于所述后臺(tái)的后臺(tái)視頻顯示介質(zhì)予以同步顯示；以及音頻同步模塊，用于將所述后臺(tái)音頻數(shù)據(jù)實(shí)時(shí)傳輸至位于所述前臺(tái)的前臺(tái)音頻播放介質(zhì)予以同步播放，以及將所述前臺(tái)音頻數(shù)據(jù)實(shí)時(shí)傳輸至位于所述后臺(tái)的后臺(tái)音頻播放介質(zhì)予以同步播放。

可選地，在本申請(qǐng)的任一實(shí)施例中，所述前臺(tái)視頻顯示介質(zhì)為L(zhǎng)CD以及全息投影中的至少一者。

可選地，在本申請(qǐng)的任一實(shí)施例中，所述系統(tǒng)還包括視頻轉(zhuǎn)換模塊，其具有：分析單元，其用于分析所述前臺(tái)的現(xiàn)場(chǎng)環(huán)境，以確定用于顯示所述虛擬動(dòng)畫的所述前臺(tái)視頻顯示介質(zhì)；視頻轉(zhuǎn)換單元，其用于依據(jù)所述前臺(tái)視頻顯示介質(zhì)而轉(zhuǎn)換所述虛擬動(dòng)畫的數(shù)據(jù)格式；以及視頻調(diào)整單元，其用于依據(jù)所述前臺(tái)視頻顯示介質(zhì)而調(diào)整所述虛擬動(dòng)畫的顯示效果。

可選地，在本申請(qǐng)的任一實(shí)施例中，所述視頻轉(zhuǎn)換單元通過視頻板卡轉(zhuǎn)換所述虛擬動(dòng)畫的數(shù)據(jù)格式。

可選地，在本申請(qǐng)的任一實(shí)施例中，所述前臺(tái)影音采集模塊所采集的所述前臺(tái)場(chǎng)景影像包括前臺(tái)觀眾的全景影像視頻和特寫影像視頻以及提供顯示所述虛擬動(dòng)畫的所述前臺(tái)視頻顯示介質(zhì)的全景影像視頻與特寫影像視頻。

可選地，在本申請(qǐng)的任一實(shí)施例中，所述虛擬模型至少包括虛擬面部子模型與虛擬骨骼子模型，所述虛擬模型驅(qū)動(dòng)模塊還包括：表情驅(qū)動(dòng)單元，用于自所述動(dòng)作數(shù)據(jù)中擷取面部表情數(shù)據(jù)，并將所述面部表情數(shù)據(jù)轉(zhuǎn)換為表情驅(qū)動(dòng)數(shù)據(jù)，以驅(qū)動(dòng)所述虛擬面部子模型執(zhí)行相應(yīng)的動(dòng)作，以將所述實(shí)際形象的面部表情實(shí)時(shí)映射至所述虛擬面部子模型，從而生成所述虛擬形象的面部動(dòng)畫；以及動(dòng)作驅(qū)動(dòng)單元，用于自所述動(dòng)作數(shù)據(jù)中擷取骨骼運(yùn)動(dòng)數(shù)據(jù)，并將所述骨骼運(yùn)動(dòng)數(shù)據(jù)轉(zhuǎn)換為骨骼運(yùn)動(dòng)驅(qū)動(dòng)數(shù)據(jù)，以驅(qū)動(dòng)所述虛擬骨骼子模型執(zhí)行相應(yīng)的動(dòng)作，以將所述實(shí)際形象所執(zhí)行的動(dòng)作實(shí)時(shí)映射至所述虛擬骨骼子模型，從而生成所述虛擬形象的動(dòng)作動(dòng)畫。