[發(fā)明專利]虛擬形象的線上多媒體互動系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201810031218.1
• 申請日: 2018-01-12
• 公開（公告）號: CN108200446B
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 劉巖;劉勇
• 申請（專利權(quán)）人: 北京蜜枝科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/439;H04N21/44;H04N21/488;H04N21/643
• 代理公司: 北京合智同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰

1.一種虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，包括：

虛擬形象導(dǎo)入模塊，用于導(dǎo)入虛擬形象的虛擬模型；

數(shù)據(jù)提取模塊，用于實(shí)時提取實(shí)際形象的實(shí)際視頻數(shù)據(jù)與實(shí)際音頻數(shù)據(jù)；

數(shù)據(jù)驅(qū)動模塊，用于將所述實(shí)際視頻數(shù)據(jù)與所述實(shí)際音頻數(shù)據(jù)實(shí)時映射至所述虛擬模型，生成所述虛擬形象的虛擬影音動畫；以及

虛擬形象輸出模塊，用于將所述虛擬影音動畫實(shí)時地輸出至流媒體服務(wù)器所提供的線上互動服務(wù)平臺，而以所述虛擬形象接入所述線上互動服務(wù)平臺進(jìn)行多媒體互動直播；

數(shù)據(jù)驅(qū)動模塊包括視頻數(shù)據(jù)處理單元，所述視頻數(shù)據(jù)處理單元用于從所述實(shí)際視頻數(shù)據(jù)中分解出靜態(tài)圖像以及動態(tài)圖像，將所分解出的所述靜態(tài)圖像與所述動態(tài)圖像疊加到三維引擎渲染的虛擬圖像上，形成虛擬影音畫面，所述靜態(tài)圖像中包含有字幕圖片、靜態(tài)特效圖片。

2.根據(jù)權(quán)利要求1所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述數(shù)據(jù)提取模塊還包括：

視頻提取單元，其用于根據(jù)預(yù)設(shè)的實(shí)時圖像提取速率提取所述實(shí)際形象的所述實(shí)際視頻數(shù)據(jù)；以及

音頻提取單元，其用于提取所述實(shí)際形象的所述實(shí)際音頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述實(shí)時圖像提取速率是根據(jù)網(wǎng)絡(luò)帶寬、計(jì)算機(jī)的處理性能以及網(wǎng)絡(luò)傳輸協(xié)議而設(shè)定。

4.根據(jù)權(quán)利要求2所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述虛擬形象的虛擬影音動畫由所述虛擬形象的虛擬影像數(shù)據(jù)及虛擬聲音數(shù)據(jù)所構(gòu)成，且所述數(shù)據(jù)驅(qū)動模塊還包括：

視頻數(shù)據(jù)處理單元，其用于從所述實(shí)際視頻數(shù)據(jù)分解出動作數(shù)據(jù)以生成動作驅(qū)動數(shù)據(jù)據(jù)以驅(qū)動所述虛擬模型執(zhí)行動作，從而生成所述虛擬形象的所述虛擬影像數(shù)據(jù)；以及

音頻數(shù)據(jù)處理單元，其用于針對所述實(shí)際音頻數(shù)據(jù)分別進(jìn)行至少包括音頻降噪、音頻靜音檢測、以及音頻回聲消除的處理，從而生成所述虛擬形象的所述虛擬聲音數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述虛擬形象輸出模塊還包括：

影像數(shù)據(jù)編碼單元，其用于針對所述虛擬影像數(shù)據(jù)進(jìn)行編碼壓縮處理，以生成視頻壓縮數(shù)據(jù)；

聲音數(shù)據(jù)編碼單元，其用于針對所述虛擬聲音數(shù)據(jù)進(jìn)行編碼壓縮處理，以生成音頻壓縮數(shù)據(jù)；

數(shù)據(jù)封裝單元，其用于依據(jù)所述流媒體服務(wù)器所設(shè)定的消息傳輸協(xié)議對所述視頻壓縮數(shù)據(jù)與所述音頻壓縮數(shù)據(jù)進(jìn)行封裝，以生成數(shù)據(jù)封包；以及

數(shù)據(jù)傳輸單元，其用于基于所述消息傳輸協(xié)議將所述數(shù)據(jù)封包傳輸至所述流媒體服務(wù)器所提供的線上互動服務(wù)平臺。

6.根據(jù)權(quán)利要求5所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述音頻數(shù)據(jù)處理單元所執(zhí)行的所述音頻靜音檢測操作包括檢測所述實(shí)際音頻數(shù)據(jù)中具有靜音標(biāo)記的靜音音頻數(shù)據(jù)，以令所述聲音數(shù)據(jù)編碼單元針對所述靜音音頻數(shù)據(jù)不執(zhí)行所述編碼壓縮處理。

7.根據(jù)權(quán)利要求1所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述系統(tǒng)還包括信息互動處理模塊，其用于提取所述線上互動服務(wù)平臺中的文字信息，并針對所提取的所述文字信息提供輸入反饋信息，且將所述反饋信息輸出至所述線上互動服務(wù)平臺，以提供線上的文字信息互動操作。

8.根據(jù)權(quán)利要求7所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述信息互動處理模塊采用網(wǎng)頁信息爬取方式以及網(wǎng)絡(luò)抓包方式中的至少一者提取所述線上互動服務(wù)平臺中的所述文字信息。

9.根據(jù)權(quán)利要求1所述的虛擬形象的線上多媒體互動系統(tǒng)，其特征在于，所述系統(tǒng)應(yīng)用于電子設(shè)備中，且所述電子設(shè)備中還安裝有與所述線上互動服務(wù)平臺通訊連接的多媒體直播軟件，所述虛擬形象輸出模塊用于將所述虛擬影音動畫接入所述多媒體直播軟件，以供所述多媒體直播軟件將所述虛擬影音動畫實(shí)時地輸出至所述線上互動服務(wù)平臺，而以所述虛擬形象接入所述線上互動服務(wù)平臺進(jìn)行多媒體互動直播。