[發明專利]虛擬形象的線下展演系統及方法

在審

• 申請號: 201810031219.6
• 申請日: 2018-01-12
• 公開（公告）號: CN108305308A
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 曹介白;史京迪
• 申請（專利權）人: 北京蜜枝科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

1.一種虛擬形象的線下展演系統，其特征在于，包括：

虛擬形象導入模塊，用于導入所述虛擬形象的虛擬模型；

后臺影音采集模塊，用于實時采集位于后臺的實際形象的動作以生成動作數據，并采集所述實際形象的聲音以生成后臺音頻數據；

前臺影音采集模塊，用于實時采集前臺場景影像以生成前臺影像數據，并采集前臺場景聲音以生成前臺音頻數據；

虛擬模型驅動模塊，用于將所述動作數據轉換為動作驅動指令以實時驅動所述虛擬模型執行動作，而產生所述虛擬形象的虛擬動畫；

視頻同步模塊，用于將所述虛擬動畫實時傳輸至位于所述前臺的前臺視頻顯示介質予以同步顯示，以及將所述前臺場景影像數據實時傳輸至位于所述后臺的后臺視頻顯示介質予以同步顯示；以及

音頻同步模塊，用于將所述后臺音頻數據實時傳輸至位于所述前臺的前臺音頻播放介質予以同步播放，以及將所述前臺音頻數據實時傳輸至位于所述后臺的后臺音頻播放介質予以同步播放。

2.根據權利要求1所述的虛擬形象的線下展演系統，其特征在于，所述前臺視頻顯示介質為LCD以及全息投影中的至少一者。

3.根據權利要求2所述的虛擬形象的線下展演系統，其特征在于，所述系統還包括視頻轉換模塊，其具有：

分析單元，其用于分析所述前臺的現場環境，以確定用于顯示所述虛擬動畫的所述前臺視頻顯示介質；

視頻轉換單元，其用于依據所述前臺視頻顯示介質而轉換所述虛擬動畫的數據格式；以及

視頻調整單元，其用于依據所述前臺視頻顯示介質而調整所述虛擬動畫的顯示效果。

4.根據權利要求3所述的虛擬形象的線下展演系統，其特征在于，所述視頻轉換單元通過視頻板卡轉換所述虛擬動畫的數據格式。

5.根據權利要求1所述的虛擬形象的線下展演系統，其特征在于，所述前臺影音采集模塊所采集的所述前臺場景影像包括前臺觀眾的全景影像視頻和特寫影像視頻以及提供顯示所述虛擬動畫的所述前臺視頻顯示介質的全景影像視頻與特寫影像視頻。

6.根據權利要求1所述的虛擬形象的線下展演系統，其特征在于，所述虛擬模型至少包括虛擬面部子模型與虛擬骨骼子模型，所述虛擬模型驅動模塊還包括：

表情驅動單元，用于自所述動作數據中擷取面部表情數據，并將所述面部表情數據轉換為表情驅動數據，以驅動所述虛擬面部子模型執行相應的動作，以將所述實際形象的面部表情實時映射至所述虛擬面部子模型，從而生成所述虛擬形象的面部動畫；以及

動作驅動單元，用于自所述動作數據中擷取骨骼運動數據，并將所述骨骼運動數據轉換為骨骼運動驅動數據，以驅動所述虛擬骨骼子模型執行相應的動作，以將所述實際形象所執行的動作實時映射至所述虛擬骨骼子模型，從而生成所述虛擬形象的動作動畫。

7.根據權利要求1所述的虛擬形象的線下展演系統，其特征在于，所述實際形象為人，所述虛擬形象為人、動物、非生物中的任意一種，所述實際形象與所述虛擬形象屬于同一類型的物種或不同類型的物種。

8.一種虛擬形象的線下展演方法，其特征在于，包括：

實時采集前臺場景影像以生成前臺影像數據，并采集前臺場景聲音以生成前臺音頻數據；

實時傳輸所述前臺場景影像數據至位于后臺的后臺視頻顯示介質予以同步顯示，以及實時傳輸所述前臺音頻數據至位于所述后臺的后臺音頻播放介質予以同步播放，以供位于所述后臺的實際形象以執行動作的方式及/或聲音回答的方式予以回應；

實時采集所述實際形象的動作以生成動作數據及/或采集所述實際形象的聲音以生成后臺音頻數據；

將所述動作數據轉換為動作驅動指令以實時驅動所述虛擬模型執行動作，而產生所述虛擬形象的虛擬動畫；以及

實時傳輸所述虛擬動畫至位于所述前臺的前臺視頻顯示介質予以同步顯示及/或實時傳輸所述后臺音頻數據至位于所述前臺的前臺音頻播放介質予以同步播放。