日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法有效

專利信息
申請號: 202010147364.8 申請日: 2020-03-05
公開(公告)號: CN111372113B 公開(公告)日: 2021-12-21
發明(設計)人: 孫偉;張賜;陳德陸 申請(專利權)人: 成都威愛新經濟技術研究院有限公司
主分類號: H04N21/43 分類號: H04N21/43;H04N21/4788;H04N21/234;H04L29/06;G06T13/80
代理公司: 成都正華專利代理事務所(普通合伙) 51229 代理人: 李蕊
地址: 610000 四川省成*** 國省代碼: 四川;51
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 基于 數字 表情 聲音 同步 用戶 平臺 交流 方法
【說明書】:

發明公開了一種基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法,在進行實時交流時,通過數據采集設備捕捉自己說話時的表情和嘴型動作數據的同時,也通過麥克風收集語音數據;本發明方案通過在相對獨立發送的表情和嘴型數據以及語音數據添加同步標簽,并實時在云端渲染的數字虛擬人的表情、嘴型動作和語音實現了數據同步,提高了用戶使用體驗;用戶與數字虛擬人進行對話也給用戶帶來了全新的交互體驗。

技術領域

本發明屬于音視頻同步技術領域,具體涉及一種基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法。

背景技術

數字虛擬人(Digital Human)是通過虛擬現實技術,結合人機交互,高精度三維人像模擬、AI以及動作捕捉、面部表情捕捉等技術制作的擬真三維人。其中面部表情和說話時的嘴型動作的制作是數字虛擬人表現的重點和難點,數字虛擬人表情動作是否生動和話語匹配是數字虛擬人看起來是否逼真的重要判斷依據。

當今,數字虛擬人在游戲、娛樂、影視領域廣泛地被應用。這些行業中,往往都是通過面部表情捕捉設備,將真人說話時的面部表情和嘴型動作捕捉下來然后通過3D制作工具如Faceware、iClone、Maya等軟件將這些表情和嘴型動作應用到數字虛擬人上,以便讓數字虛擬人說話時的表情和嘴型動作看起來像真人一樣。這種技術手段的問題是,人物表情和說話時的嘴型動作是事先制作好的,數字虛擬人無法和真人進行實時互動說話交流。

目前雖然也有實時驅動數字虛擬人的表情和嘴型動作的方法,但是效果和應用場景受到很大限制。受限于目前技術的發展,通過算法來驅動數字虛擬人的面部表情和嘴型動作,再配合AI與人的交互的效果往往不太理想。于是出現了通過手機攝像頭、PC攝像頭等輕量化設備捕捉真人面部表情和嘴型動作并實時驅動數字虛擬人,以便實現真人和數字虛擬人實時交流的技術方案。這種方案可以實現真人與數字虛擬人的互動交流對話,但問題在于,想要達到逼真的效果,數字虛擬人的實時渲染需要強大的圖形圖像和數據處理能力,這就嚴重限制了數字虛擬人在行業領域的應用和推廣。

上述方案雖然可以通過云渲染的方式來解決數字虛擬人的實時渲染對終端設備要求過高的問題,但就是由于將渲染端放在了云端,和人物表情動作和嘴型動作的捕捉、聲音的采集就分開了。攝像頭等設備在進行實時面部表情和嘴型動作的捕捉以及說話聲音采集后,通過網絡將這些數據發送到云端,云端的服務器處理后,將最終渲染的畫面和聲音通過WebRTC協議串流到另一用戶端瀏覽器上,這個過程受到網絡條件等的影響,無法保證被傳輸的數據到另一用戶端時,數字虛擬人說話的表情、嘴型動作和說話的內容是同步的。當數字虛擬人的表情動作、嘴型動作和說話的語音不同步時,用戶體驗是相當差的。

發明內容

針對現有技術中的上述不足,本發明提供的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法解決了現有的通過數字虛擬人進行互動交流時,數字虛擬人表情、嘴型和聲音不同步,降低用戶體驗的問題。

為了達到上述發明目的,本發明采用的技術方案為:一種基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法,包括以下步驟:

S1、根據數據采集設備采集第一用戶的面部表情及嘴型信息和聲音信息,對其添加同步標簽;

S2、將添加了同步標簽的面部表情及嘴型信息和聲音信息上傳至云渲染服務器,根據其接收信息驅動數字虛擬人并進行實時渲染;

S3、通過云渲染服務器對渲染后的圖像和第一用戶聲音進行編碼壓縮,并發送至第二用戶的瀏覽器;

S4、通過第二用戶的瀏覽器對接收到的編碼壓縮后的圖像和第一用戶聲音進行解碼,實時查看數字虛擬人的表情、嘴型及聲音信息;

S5、重復步驟S1~S4,通過數字虛擬人在第一用戶和第二用戶之間建立互動交流,實現用戶跨平臺交流。

進一步地,所述步驟S1中,添加同步標簽的方法具體為:

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于成都威愛新經濟技術研究院有限公司,未經成都威愛新經濟技術研究院有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202010147364.8/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 强制中出し~大桥未久10在线播放| 欧美激情视频一区二区三区免费| 91精品高清| 香蕉av一区二区| 亚洲欧美一二三| 国产精品久久久久久久久久不蜜臀| 精品无人国产偷自产在线| 亚洲精品乱码久久久久久国产主播 | 欧美一区二区三区久久久| 99久久免费精品国产男女性高好| 99久久精品一区字幕狠狠婷婷| 国产欧美日韩综合精品一| 国产精品区一区二区三| 亚洲国产精品一区二区久久hs| 亚洲精品久久久久不卡激情文学| 97国产精品久久久| 欧美在线免费观看一区| 欧美日韩一区二区三区69堂| 日本丰满岳妇伦3在线观看| 狠狠躁日日躁狂躁夜夜躁av| 99久精品视频| 99久久国产综合精品麻豆| 国产精品麻豆99久久久久久| 亚洲精品无吗| 欧美激情片一区二区| 午夜毛片在线观看| 亚洲精品国产精品国自| 国产一区不卡视频| 国产精品久久91| 97人人模人人爽人人喊小说| 久久aⅴ国产欧美74aaa| 在线国产一区二区| 国产日韩精品久久| 欧美激情视频一区二区三区| 狠狠躁夜夜躁| 欧美系列一区二区| 中文字幕欧美一区二区三区 | 久久久久久久久亚洲精品一牛| 国产区精品| 精品亚洲午夜久久久久91| 国产午夜精品一区二区三区视频| 欧美精品九九| 97久久精品人人做人人爽50路| 国产欧美日韩在线观看| 国产偷国产偷亚洲清高| 亚洲国产精品激情综合图片| 国产在线拍揄自揄拍| 少妇精品久久久久www蜜月| 91精品色| 欧美日韩一区二区三区四区五区六区 | 亚洲精品www久久久久久广东| 欧美二区精品| 国产精品免费观看国产网曝瓜| 国产日韩欧美第一页| 国产99视频精品免视看芒果| 国产一级一区二区| 91久久精品在线| 欧美一级不卡| 99久久精品国| 日本福利一区二区| 国产大学生呻吟对白精彩在线| 欧美一区二区三区激情| 搡少妇在线视频中文字幕| 国产精品理人伦一区二区三区| 欧美日韩一区二区高清| 97精品国产97久久久久久免费| 少妇又紧又色又爽又刺激视频网站| 精品福利一区二区| 日韩精品午夜视频| 91久久精品在线| 亚洲欧美国产一区二区三区| 精品久久久久久中文字幕大豆网| 99久久精品国| 在线观看v国产乱人精品一区二区| 亚洲久色影视| 综合色婷婷一区二区亚洲欧美国产| 国产精品偷拍| 亚洲欧美国产精品一区二区| 国产精品无码专区在线观看| 性欧美精品动漫| 欧美日韩久久一区| 天啦噜国产精品亚洲精品|