[發明專利]虛擬形象的線上多媒體互動系統及方法

有效

• 申請號: 201810031218.1
• 申請日: 2018-01-12
• 公開（公告）號: CN108200446B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 劉巖;劉勇
• 申請（專利權）人: 北京蜜枝科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/439;H04N21/44;H04N21/488;H04N21/643
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本申請實施例提供了一種虛擬形象的線上多媒體互動系統及方法，包括通過虛擬形象導入模塊導入虛擬形象的虛擬模型；通過數據提取模塊以實時提取實際形象的實際視頻數據與實際音頻數據，并利用數據驅動模塊將所述實際視頻數據與實際音頻數據映射至所述虛擬模型，生成所述虛擬形象的虛擬影音動畫，而后在通過虛擬形象輸出模塊將所述虛擬影音動畫實時地輸出至流媒體服務器所提供的線上互動服務平臺，而以虛擬形象接入所述線上互動服務平臺進行多媒體互動直播，借此提高多媒體互動直播的趣味性。

技術領域

本申請實施例涉及虛擬動畫制作技術及多媒體直播技術，尤其涉及虛擬形象的線上多媒體互動系統及方法。

背景技術

網絡直播技術是一種服務端將主播用戶的直播視頻數據廣播至多個觀眾用戶進行觀看的互聯網技術，同時還可提供觀眾用戶與主播用戶進行互動。

然而，在現有技術中，網絡直播通常是以主播的實際形象予以展示，若能通過技術手段將虛擬形象接入互聯網線上互動平臺，而以虛擬形象代替實際形象參與到線上直播互動中，將可極大地提高網絡直播的趣味性。

發明內容

有鑒于此，本發明實施例的主要目的在于提供一種虛擬形象的線上多媒體互動系統及方法，可實現以虛擬行形象代替實際形象接入互聯網線上互動平臺進行線上的互動直播，以增加線上互動直播的趣味性。

本申請實施例提供了一種虛擬形象的線上多媒體互動系統，其特征在于，包括：虛擬形象導入模塊，用于導入虛擬形象的虛擬模型；數據提取模塊，用于實時提取實際形象的實際視頻數據與實際音頻數據；數據驅動模塊，用于將所述實際視頻數據與所述實際音頻數據實時映射至所述虛擬模型，生成所述虛擬形象的虛擬影音動畫；以及虛擬形象輸出模塊，用于將所述虛擬影音動畫實時地輸出至流媒體服務器所提供的線上互動服務平臺，而以所述虛擬形象接入所述線上互動服務平臺進行多媒體互動直播。

可選地，在本申請的任一實施例中，所述數據提取模塊還包括：視頻提取單元，其用于根據預設的實時圖像提取速率提取所述實際形象的所述實際視頻數據；以及音頻提取單元，其用于提取所述實際形象的所述實際音頻數據。

可選地，在本申請的任一實施例中，所述實時圖像提取速率是根據網絡帶寬、計算機的處理性能以及網絡傳輸協議而設定。

可選地，在本申請的任一實施例中，所述虛擬形象的虛擬影音動畫由所述虛擬形象的虛擬影像數據及虛擬聲音數據所構成，且所述數據驅動模塊還包括：

可選地，在本申請的任一實施例中，視頻數據處理單元，其用于從所述實際視頻數據分解出動作數據以生成動作驅動數據據以驅動所述虛擬模型執行動作，從而生成所述虛擬形象的所述虛擬影像數據；以及音頻數據處理單元，其用于針對所述實時音頻數據分別進行至少包括音頻降噪、音頻靜音檢測、以及音頻回聲消除的處理，從而生成所述虛擬形象的所述虛擬聲音數據。

可選地，在本申請的任一實施例中，所述虛擬形象輸出模塊還包括：影像數據編碼單元，其用于針對所述虛擬影像數據進行編碼壓縮處理，以生成視頻壓縮數據；聲音數據編碼單元，其用于針對所述虛擬聲音數據進行編碼壓縮處理，以生成音頻壓縮數據；數據封裝單元，其用于依據所述流媒體服務器所設定的消息傳輸協議對所述視頻壓縮數據與所述音頻壓縮數據進行封裝，以生成數據封包；以及數據傳輸單元，其用于基于所述消息傳輸協議將所述數據封包傳輸至所述流媒體服務器所提供的線上互動服務平臺。

可選地，在本申請的任一實施例中，所述音頻數據處理單元所執行的所述音頻靜音檢測操作包括檢測所述實時音頻數據中具有靜音標記的靜音音頻數據，以令所述聲音數據編碼單元針對所述靜音音頻數據不執行所述編碼壓縮處理。

可選地，在本申請的任一實施例中，所述系統還包括信息互動處理模塊，其用于提取所述線上互動服務平臺中的文字信息，并針對所提取的所述文字信息提供輸入反饋信息，且將所述反饋信息輸出至所述線上互動服務平臺，以提供線上的文字信息互動操作。