[發(fā)明專利]基于虛擬人臉表情進行視頻通話的方法及裝置

有效

• 申請?zhí)枺?/td>: 201711262683.8
• 申請日: 2017-12-04
• 公開（公告）號: CN107911644B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計）人: 呂慶祥
• 申請（專利權(quán)）人: 呂慶祥
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N21/4788;G06T13/00
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 朱健;陳國軍

本發(fā)明提供了一種基于虛擬人臉表情進行視頻通話的方法及裝置，其中，該方法包括：實時連續(xù)獲取第一用戶基于通話終端發(fā)送的第一視頻幀數(shù)據(jù)和與第一視頻幀數(shù)據(jù)相對應(yīng)的第一音頻數(shù)據(jù)，第一視頻幀數(shù)據(jù)包括第一用戶的第一人臉特征值；選擇虛擬人臉模型，并根據(jù)第一視頻幀數(shù)據(jù)生成與虛擬人臉模型相對應(yīng)的虛擬人臉表情；實時連續(xù)播放虛擬人臉表情，同時解碼并播放相對應(yīng)的第一音頻數(shù)據(jù)。該方法中的視頻通話的另一方只需要提供包含人臉特征值的數(shù)據(jù)即可，之后本地的終端根據(jù)該人臉特征值以及虛擬人臉模型重新生成只包含另一側(cè)用戶表情信息的虛擬人臉表情，從而可以避免另一側(cè)用戶的信息泄露，保證信息安全，可以提高隱私性。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻通話技術(shù)領(lǐng)域，特別涉及一種基于虛擬人臉表情進行視頻通話的方法及裝置。

背景技術(shù)

目前，用戶在進行視頻通話時，一般選擇計算機、手機、或者其他的有攝像頭的電子設(shè)備，通過互聯(lián)網(wǎng)傳輸上述電子設(shè)備采集的視頻信號，進而實現(xiàn)視頻通話。具體的，視頻通話的雙方均使用電子設(shè)備的前置攝像頭來捕捉人臉或者物體的信息，并通過電子設(shè)備的聽筒來獲取聲音信息，從而實現(xiàn)視頻通話。

發(fā)明人在實現(xiàn)發(fā)明創(chuàng)造的過程中，發(fā)現(xiàn)現(xiàn)有方案至少存在以下缺陷：

現(xiàn)有的視頻通話方式會使用原始的視頻圖像以及用戶的原始聲音，隱私性較差；同時，原始的視頻圖像所需較大的存儲空間，在傳輸原始的視頻圖像時會占用過高的傳輸帶寬，在網(wǎng)絡(luò)信號不強、信道狀況不好的情況下視頻通信效果較差。

發(fā)明內(nèi)容

本發(fā)明提供一種基于虛擬人臉表情進行視頻通話的方法及裝置，用以解決現(xiàn)有視頻通話隱私性較差的缺陷。

本發(fā)明實施例提供的一種基于虛擬人臉表情進行視頻通話的方法，包括：

實時連續(xù)獲取第一用戶基于通話終端發(fā)送的第一視頻幀數(shù)據(jù)和與所述第一視頻幀數(shù)據(jù)相對應(yīng)的第一音頻數(shù)據(jù)，所述第一視頻幀數(shù)據(jù)包括所述第一用戶的第一人臉特征值；

選擇虛擬人臉模型，并根據(jù)所述第一視頻幀數(shù)據(jù)生成與所述虛擬人臉模型相對應(yīng)的虛擬人臉表情；

實時連續(xù)播放所述虛擬人臉表情，同時解碼并播放相對應(yīng)的所述第一音頻數(shù)據(jù)。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述第一視頻幀數(shù)據(jù)生成與所述虛擬人臉模型相對應(yīng)的虛擬人臉表情包括：

根據(jù)所述第一視頻幀數(shù)據(jù)確定所述第一用戶的人臉特征點的位置坐標，并確定所述第一用戶的人臉特征點之間的相對位置；

根據(jù)所述第一用戶的人臉特征點之間的相對位置調(diào)整所述虛擬人臉模型的人臉特征點的位置，并將調(diào)整后的虛擬人臉模型作為與所述第一視頻幀數(shù)據(jù)相對應(yīng)的虛擬人臉表情。

在一種可能的實現(xiàn)方式中，所述確定所述第一用戶的人臉特征點之間的相對位置包括：

對所述人臉特征點進行分組，并確定每組中的關(guān)鍵人臉特征點；

分別確定每組中相鄰的人臉特征點之間的相對位置，并確定不同組的關(guān)鍵人臉特征點之間的相對位置。

在一種可能的實現(xiàn)方式中，該方法還包括：

實時采集第二用戶的人臉圖像和原始聲音數(shù)據(jù)；

根據(jù)所述人臉圖像確定所述第二用戶的第二人臉特征值，生成第二視頻幀數(shù)據(jù)，并根據(jù)所述原始聲音數(shù)據(jù)確定與所述第二視頻幀數(shù)據(jù)相對應(yīng)的第二音頻數(shù)據(jù)；

將所述第二視頻幀數(shù)據(jù)和所述第二音頻數(shù)據(jù)發(fā)送至所述第一用戶的通話終端。

在一種可能的實現(xiàn)方式中，所述第一音頻數(shù)據(jù)為經(jīng)過變聲處理的音頻數(shù)據(jù)；

所述根據(jù)所述原始聲音數(shù)據(jù)確定與所述第二視頻幀數(shù)據(jù)相對應(yīng)的第二音頻數(shù)據(jù)包括：