[發明專利]虛擬形象的虛擬演播系統及方法

有效

• 申請號: 201810030721.5
• 申請日: 2018-01-12
• 公開（公告）號: CN108200445B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 劉勇;曹介白
• 申請（專利權）人: 北京蜜枝科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/242;H04N21/439;H04N21/44
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本申請實施例提供了一種虛擬形象的虛擬演播系統及方法，通過實時采集現包含有第一現實形象的現實演播影像數據以及現場音頻數據，以及實時采集第二現實形象的動作數據，且以所述動作數據實時驅動所述虛擬模型而生成虛擬形象動畫數據，并通過合成所述虛擬形象動畫數據與所述現實演播影像數據，以將虛擬形象植入到所述現實演播現場中，并通過同步整合所述現場音頻數據，從而生成所述虛擬形象與所述第一現實形象在所述現實演播現場中實時互動的虛擬演播影音數據。

技術領域

本申請實施例涉及直播視頻制作技術，尤其涉及虛擬形象的虛擬演播系統及方法。

背景技術

隨著計算機技術與虛擬現實技術的不斷發展，實現了虛擬形象與現實形象之間的互動的演播技術。

然而，目前此項技術大都應用于影視制作中，也就是說，虛擬演播的影音資料是提前制作完成，因此，當前的制作技術并無法適用于實時廣播電視在線演播或實時網絡在線演播等應用情境。有鑒于此，如何實現虛擬形象與現實形象在同一場景空間內互動的直播視頻的制作，即為本申請待解決的技術課題。

發明內容

有鑒于此，本發明實施例的主要目的在于提供一種虛擬形象的虛擬演播系統及方法，實現了虛擬形象與現實形象在同一場景空間內互動的直播視頻的制作，以適用于實時廣播電視在線演播或實時網絡在線演播的應用情境。

本申請實施例提供了一種虛擬形象的虛擬演播系統，其特征在于，包括：現場影像采集模塊，用于實時采集現實演播現場的影像畫面以生成現實演播影像數據，所述現實演播影像數據包括在所述現實演播現場中表演的第一現實形象；虛擬形象生成模塊，用于導入虛擬形象的虛擬模型，并實時采集第二現實形象的動作軌跡以生成動作數據，并利用所述動作數據實時驅動所述虛擬模型執行動作，從而實時生成所述虛擬形象的虛擬形象動畫數據；虛擬形象植入模塊，用于實時合成所述虛擬形象動畫數據與所述現實演播影像數據，以將所述虛擬形象植入到所述現實演播現場中，從而實時生成虛擬演播影像數據；現場音頻采集模塊，用于實時采集所述現實演播現場的演播聲音，以生成現場音頻數據，所述現場音頻數據至少包括所述第一現實形象的第一音頻數據與所述第二現實形象的第二音頻數據；以及影音同步整合模塊，用于將所述現場音頻數據與所述虛擬演播影像數據進行同步整合，從而實時生成所述虛擬形象與所述第一現實形象在所述現實演播現場中實時互動的虛擬演播影音數據。

可選地，在本申請的任一實施例中，所述虛擬形象植入模塊還包括依據所述現實演播影像數據，分析所述現場影像采集模塊的相機追蹤參數，并基于所述相機追蹤參數將所述虛擬形象動畫數據導入所述現實演播影像數據中。

可選地，在本申請的任一實施例中，所述虛擬形象植入模塊還包括于所述現實演播現場的影像畫面中設定虛擬形象初始坐標參數，以定義所述虛擬形象植入所述現實演播現場的影像畫面中的初始位置。

可選地，在本申請的任一實施例中，所述虛擬形象植入模塊還包括以所述虛擬形象初始坐標參數為原點而定義所述虛擬形象在所述現實演播現場的影像畫面中的移動范圍。

可選地，在本申請的任一實施例中，其特征在于，所述現實演播影像數據還包括顯示所述現實演播現場中的現實背景場景的現實背景場景影像數據，且所述虛擬形象植入模塊還包括：虛擬背景場景建立單元，其通過分析所述現實背景場景影像數據所顯示的所述現實背景場景，以建立虛擬背景場景的虛擬場景模型，并生成虛擬背景場景影像數據；以及第一合成單元，用于合成所述虛擬形象動畫數據與所述虛擬背景場景影像數據，以生成所述虛擬形象在所述虛擬背景場景中表演的虛擬合成動畫數據。

可選地，在本申請的任一實施例中，所述虛擬形象植入模塊還包括第二合成單元，其用于將所述虛擬合成動畫數據與所述現實演播影像數據進行合成，以使所述虛擬背景場景與所述現實背景場景相互重疊，從而生成所述虛擬形象與所述第一現實形象在所述演播現場中互動表演的虛擬演播影像畫面。