[發明專利]基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法

有效

• 申請號: 202010147364.8
• 申請日: 2020-03-05
• 公開（公告）號: CN111372113B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 孫偉;張賜;陳德陸
• 申請（專利權）人: 成都威愛新經濟技術研究院有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/4788;H04N21/234;H04L29/06;G06T13/80
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法，其特征在于，包括以下步驟：

S1、根據數據采集設備采集第一用戶的面部表情及嘴型信息和聲音信息，對其添加同步標簽；

S2、將添加了同步標簽的面部表情及嘴型信息和聲音信息上傳至云渲染服務器，根據其接收信息驅動數字虛擬人并進行實時渲染；

S3、通過云渲染服務器對渲染后的圖像和第一用戶聲音進行編碼壓縮，并發送至第二用戶的瀏覽器；

S4、通過第二用戶的瀏覽器對接收到的編碼壓縮后的圖像和第一用戶聲音進行解碼，實時查看數字虛擬人的表情、嘴型及聲音信息；

S5、重復步驟S1～S4，通過數字虛擬人在第一用戶和第二用戶之間建立互動交流，實現用戶跨平臺交流；

所述S1的步驟中，添加同步標簽的方法具體為：

A1、當第一用戶與第二用戶之間有交流需求時，通過數據采集設備采集第一用戶的表情、嘴型和聲音信息，并將其緩存為面部表情及嘴型數據和聲音數據；

A2、判斷第一用戶發出的語音是否有停頓；

若是，則進入步驟A3；

若否，則返回步驟A1；

A3、對當前語音對應的緩存面部表情及嘴型數據和聲音數據添加同步開始標簽和同步結束標簽。

2.根據權利要求1所述的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法，其特征在于，所述A3具體為：

A31、在數據采集設備緩存的第一用戶的所有面部表情中，假設其對應的嘴型動作有k個，且嘴巴在自然閉合狀態下的姿態為N，在所有打開狀態下的姿態為P，根據其中間狀態M確定嘴型動作變形參數t_i：

其中，中間狀態M為：

式中，t_i為第i個嘴型動作變形參數，且t_i∈[0,1]；

P_i為第i個嘴巴打開的姿態；

A32、根據云渲染服務器中數字虛擬人的面部表情及嘴型動畫制作情況，設置t_i閾值為：

t＝{0.1,0.12,…,0.2}

A33、當檢測到數據采集設備中緩存的第一用戶當前所有面部表情及嘴型信息的所有t_i均滿足設置閾值時，在對應的面部表情及嘴型信息和聲音信息中處添加開始同步標簽；

當檢測到數據采集設備中緩存的第一用戶當前所有面部表情及嘴型信息的所有t_i均為0時，在對應的面部表情及嘴型信息和聲音信息處均添加結束同步標簽。

3.根據權利要求1所述的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法，其特征在于，所述S2具體為：

S21、通過云渲染服務器將接收到的添加了同步標簽的面部表情及嘴型信息和聲音信息進行緩存；

S22、對當前緩存的面部表情及嘴型信息和聲音信息進行同步標簽檢查，判斷是否有相同的開始同步標簽和結束同步標簽；

若是，則進入步驟S23；

若否，則返回步驟S21；

S23、根據具有相同的開始同步標簽和結束同步標簽的緩存信息，對數字虛擬人的表情動作、嘴型動作和聲音動作進行驅動，并進行實時渲染。

4.根據權利要求1所述的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法，其特征在于，所述S3的步驟中通過NVENC進行硬件實時加速視頻編碼，并使用H.264編碼格式對音視頻進行編碼壓縮。

5.根據權利要求1所述的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法，其特征在于，所述S3的步驟中，通過RTC協議將編碼壓縮的音視頻信息發送至第二用戶的瀏覽器端。

6.根據權利要求5所述的基于數字人表情、嘴型及聲音同步的用戶跨平臺交流方法，其特征在于，所述S3的步驟中，第二用戶的瀏覽器端為支持WebRTC協議的瀏覽器。