[發明專利]虛擬人像渲染方法、裝置以及存儲介質

在審

• 申請號: 202010630338.0
• 申請日: 2020-07-03
• 公開（公告）號: CN111814652A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 謝新林
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

本發明提供一種虛擬人像渲染方法、裝置以及存儲介質，該方法包括：所述第一終端設備采集待處理圖像；所述第一終端設備根據所述待處理圖像，獲取所述待處理圖像中的人臉圖像；所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像對應的表情參數，所述表情參數用于表征所述人臉圖像上各個肌肉動作的強烈程度；所述第一終端設備將所述表情參數發送至第二終端設備，所述表情參數用于指示所述第二終端設備對虛擬人像的表情和動作進行渲染。由于第一終端設備發送給第二終端設備的并不是高清圖像，而是表情參數和位姿參數，這兩種參數所占用的帶寬和高清圖像相比是很小的，卡頓現象顯著減少，提升了學生端的上課體驗度。

技術領域

本發明涉及通信技術領域，尤其涉及一種虛擬人像渲染方法、裝置以及存儲介質。

背景技術

隨著終端技術不斷發展，手機和電腦等終端設備成為人們日常生活中實時通訊必不可少的工具。終端設備所能實現的功能日趨豐富，其中視頻通話、云課堂以及云會議等溝通方式可以讓用戶足不出戶即可享受相應的網絡資源。

目前，在使用云課堂或者云會議時，主講端展示的是講師或者主講人的真實人像。這種方式有如下缺陷：講師或者主講人的個人身份信息可能泄露；而且，高清圖像對網絡帶寬的要求非常高，當網絡帶寬有限時，可能造成卡頓。

發明內容

本發明提供一種虛擬人像渲染方法和裝置，用以解決現有技術傳輸真實圖像帶來的卡頓等問題。

第一方面，本發明提供一種虛擬人像渲染方法，應用于第一終端設備，包括：該第一終端設備采集待處理圖像；該第一終端設備根據該待處理圖像，獲取該待處理圖像中的人臉圖像；該第一終端設備根據該人臉圖像，獲取該人臉圖像對應的表情參數，該表情參數用于表征該人臉圖像上各個肌肉動作的強烈程度；該第一終端設備將該表情參數發送至第二終端設備，該表情參數用于指示該第二終端設備對虛擬人像的表情和動作進行渲染。

可選的，該第一終端設備將該表情參數發送至第二終端設備之前，還包括：該第一終端設備根據該人臉圖像，獲取該人臉圖像上關鍵點的位姿參數；該第一終端設備將該表情參數發送至第二終端設備，包括：該第一終端設備將該表情參數和該位姿參數發送至第二終端設備，以使該第二終端設備根據該表情參數和該位姿參數，對虛擬人像的表情和動作進行渲染。

可選的，該第一終端設備根據該人臉圖像，獲取該人臉圖像上關鍵點的位姿參數，包括：該第一終端設備根據該人臉圖像，獲取該人臉圖像上關鍵點的二維坐標；該第一終端設備根據該人臉圖像上關鍵點的二維坐標，獲取該人臉圖像上關鍵點的位姿參數。

可選的，該第一終端設備根據該人臉圖像，獲取該人臉圖像上關鍵點的位姿參數，包括：該第一終端設備將該人臉圖像輸入位姿估計模型；將該位姿估計模型的輸出結果確定為該位姿參數。

可選的，該表情參數包括多個精細化運動單元AU值；該第一終端設備根據該人臉圖像，獲取該人臉圖像對應的表情參數，包括：該第一終端設備根據該人臉圖像和表情特征提取模型，提取該人臉圖像上不同肌肉動作的特征；該第一終端設備根據該人臉圖像上不同肌肉動作的特征和表情估計模型，獲取該多個精細化運動單元AU值。