[發明專利]基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法有效
申請號: | 202010147364.8 | 申請日: | 2020-03-05 |
公開(公告)號: | CN111372113B | 公開(公告)日: | 2021-12-21 |
發明(設計)人: | 孫偉;張賜;陳德陸 | 申請(專利權)人: | 成都威愛新經濟技術研究院有限公司 |
主分類號: | H04N21/43 | 分類號: | H04N21/43;H04N21/4788;H04N21/234;H04L29/06;G06T13/80 |
代理公司: | 成都正華專利代理事務所(普通合伙) 51229 | 代理人: | 李蕊 |
地址: | 610000 四川省成*** | 國省代碼: | 四川;51 |
權利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關鍵詞: | 基于 數字 表情 聲音 同步 用戶 平臺 交流 方法 | ||
本發明公開了一種基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法,在進行實時交流時,通過數據采集設備捕捉自己說話時的表情和嘴型動作數據的同時,也通過麥克風收集語音數據;本發明方案通過在相對獨立發送的表情和嘴型數據以及語音數據添加同步標簽,并實時在云端渲染的數字虛擬人的表情、嘴型動作和語音實現了數據同步,提高了用戶使用體驗;用戶與數字虛擬人進行對話也給用戶帶來了全新的交互體驗。
技術領域
本發明屬于音視頻同步技術領域,具體涉及一種基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法。
背景技術
數字虛擬人(Digital Human)是通過虛擬現實技術,結合人機交互,高精度三維人像模擬、AI以及動作捕捉、面部表情捕捉等技術制作的擬真三維人。其中面部表情和說話時的嘴型動作的制作是數字虛擬人表現的重點和難點,數字虛擬人表情動作是否生動和話語匹配是數字虛擬人看起來是否逼真的重要判斷依據。
當今,數字虛擬人在游戲、娛樂、影視領域廣泛地被應用。這些行業中,往往都是通過面部表情捕捉設備,將真人說話時的面部表情和嘴型動作捕捉下來然后通過3D制作工具如Faceware、iClone、Maya等軟件將這些表情和嘴型動作應用到數字虛擬人上,以便讓數字虛擬人說話時的表情和嘴型動作看起來像真人一樣。這種技術手段的問題是,人物表情和說話時的嘴型動作是事先制作好的,數字虛擬人無法和真人進行實時互動說話交流。
目前雖然也有實時驅動數字虛擬人的表情和嘴型動作的方法,但是效果和應用場景受到很大限制。受限于目前技術的發展,通過算法來驅動數字虛擬人的面部表情和嘴型動作,再配合AI與人的交互的效果往往不太理想。于是出現了通過手機攝像頭、PC攝像頭等輕量化設備捕捉真人面部表情和嘴型動作并實時驅動數字虛擬人,以便實現真人和數字虛擬人實時交流的技術方案。這種方案可以實現真人與數字虛擬人的互動交流對話,但問題在于,想要達到逼真的效果,數字虛擬人的實時渲染需要強大的圖形圖像和數據處理能力,這就嚴重限制了數字虛擬人在行業領域的應用和推廣。
上述方案雖然可以通過云渲染的方式來解決數字虛擬人的實時渲染對終端設備要求過高的問題,但就是由于將渲染端放在了云端,和人物表情動作和嘴型動作的捕捉、聲音的采集就分開了。攝像頭等設備在進行實時面部表情和嘴型動作的捕捉以及說話聲音采集后,通過網絡將這些數據發送到云端,云端的服務器處理后,將最終渲染的畫面和聲音通過WebRTC協議串流到另一用戶端瀏覽器上,這個過程受到網絡條件等的影響,無法保證被傳輸的數據到另一用戶端時,數字虛擬人說話的表情、嘴型動作和說話的內容是同步的。當數字虛擬人的表情動作、嘴型動作和說話的語音不同步時,用戶體驗是相當差的。
發明內容
針對現有技術中的上述不足,本發明提供的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法解決了現有的通過數字虛擬人進行互動交流時,數字虛擬人表情、嘴型和聲音不同步,降低用戶體驗的問題。
為了達到上述發明目的,本發明采用的技術方案為:一種基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法,包括以下步驟:
S1、根據數據采集設備采集第一用戶的面部表情及嘴型信息和聲音信息,對其添加同步標簽;
S2、將添加了同步標簽的面部表情及嘴型信息和聲音信息上傳至云渲染服務器,根據其接收信息驅動數字虛擬人并進行實時渲染;
S3、通過云渲染服務器對渲染后的圖像和第一用戶聲音進行編碼壓縮,并發送至第二用戶的瀏覽器;
S4、通過第二用戶的瀏覽器對接收到的編碼壓縮后的圖像和第一用戶聲音進行解碼,實時查看數字虛擬人的表情、嘴型及聲音信息;
S5、重復步驟S1~S4,通過數字虛擬人在第一用戶和第二用戶之間建立互動交流,實現用戶跨平臺交流。
進一步地,所述步驟S1中,添加同步標簽的方法具體為:
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于成都威愛新經濟技術研究院有限公司,未經成都威愛新經濟技術研究院有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010147364.8/2.html,轉載請聲明來源鉆瓜專利網。