[發(fā)明專(zhuān)利]基于虛擬人臉表情進(jìn)行視頻通話(huà)的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711262683.8
• 申請(qǐng)日: 2017-12-04
• 公開(kāi)（公告）號(hào): CN107911644B
• 公開(kāi)（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 呂慶祥
• 申請(qǐng)（專(zhuān)利權(quán)）人: 呂慶祥
• 主分類(lèi)號(hào): H04N7/14
• 分類(lèi)號(hào): H04N7/14;H04N21/4788;G06T13/00
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 朱健;陳國(guó)軍

1.一種基于虛擬人臉表情進(jìn)行視頻通話(huà)的方法，其特征在于，包括：

實(shí)時(shí)連續(xù)獲取第一用戶(hù)基于通話(huà)終端發(fā)送的第一視頻幀數(shù)據(jù)和與所述第一視頻幀數(shù)據(jù)相對(duì)應(yīng)的第一音頻數(shù)據(jù)，所述第一視頻幀數(shù)據(jù)包括所述第一用戶(hù)的第一人臉特征值；所述第一用戶(hù)的第一人臉特征值包含第一用戶(hù)的人臉特征點(diǎn)的位置坐標(biāo)；

選擇虛擬人臉模型，并根據(jù)所述第一視頻幀數(shù)據(jù)生成與所述虛擬人臉模型相對(duì)應(yīng)的虛擬人臉表情；

實(shí)時(shí)連續(xù)播放所述虛擬人臉表情，同時(shí)解碼并播放相對(duì)應(yīng)的所述第一音頻數(shù)據(jù)；

所述根據(jù)所述第一視頻幀數(shù)據(jù)生成與所述虛擬人臉模型相對(duì)應(yīng)的虛擬人臉表情包括：

根據(jù)所述第一視頻幀數(shù)據(jù)確定所述第一用戶(hù)的人臉特征點(diǎn)的位置坐標(biāo)，并確定所述第一用戶(hù)的人臉特征點(diǎn)之間的相對(duì)位置；

根據(jù)所述第一用戶(hù)的人臉特征點(diǎn)之間的相對(duì)位置調(diào)整所述虛擬人臉模型的人臉特征點(diǎn)的位置，并將調(diào)整后的虛擬人臉模型作為與所述第一視頻幀數(shù)據(jù)相對(duì)應(yīng)的虛擬人臉表情；

所述確定所述第一用戶(hù)的人臉特征點(diǎn)之間的相對(duì)位置包括：

對(duì)所述人臉特征點(diǎn)進(jìn)行分組，并確定每組中的關(guān)鍵人臉特征點(diǎn)；

分別確定每組中相鄰的人臉特征點(diǎn)之間的相對(duì)位置，并確定不同組的關(guān)鍵人臉特征點(diǎn)之間的相對(duì)位置。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

實(shí)時(shí)采集第二用戶(hù)的人臉圖像和原始聲音數(shù)據(jù)；

根據(jù)所述人臉圖像確定所述第二用戶(hù)的第二人臉特征值，生成第二視頻幀數(shù)據(jù)，并根據(jù)所述原始聲音數(shù)據(jù)確定與所述第二視頻幀數(shù)據(jù)相對(duì)應(yīng)的第二音頻數(shù)據(jù)；

將所述第二視頻幀數(shù)據(jù)和所述第二音頻數(shù)據(jù)發(fā)送至所述第一用戶(hù)的通話(huà)終端。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一音頻數(shù)據(jù)為經(jīng)過(guò)變聲處理的音頻數(shù)據(jù)；

所述根據(jù)所述原始聲音數(shù)據(jù)確定與所述第二視頻幀數(shù)據(jù)相對(duì)應(yīng)的第二音頻數(shù)據(jù)包括：

對(duì)所述原始聲音數(shù)據(jù)進(jìn)行變聲處理，將變聲處理后的原始聲音數(shù)據(jù)作為與所述第二視頻幀數(shù)據(jù)相對(duì)應(yīng)的第二音頻數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一視頻幀數(shù)據(jù)還包括：第一用戶(hù)的人臉運(yùn)動(dòng)速度和人臉運(yùn)動(dòng)方向；

所述實(shí)時(shí)連續(xù)播放所述虛擬人臉表情，還包括：

在預(yù)設(shè)虛擬場(chǎng)景下，根據(jù)所述人臉運(yùn)動(dòng)速度和所述人臉運(yùn)動(dòng)方向播放所述虛擬人臉表情；所述預(yù)設(shè)虛擬場(chǎng)景為視頻通話(huà)雙方同時(shí)選擇的同一場(chǎng)景，所述虛擬人臉表情的運(yùn)動(dòng)速度與所述人臉運(yùn)動(dòng)速度相一致，所述虛擬人臉表情的運(yùn)動(dòng)方向與所述人臉運(yùn)動(dòng)方向相一致。

5.一種基于虛擬人臉表情進(jìn)行視頻通話(huà)的裝置，其特征在于，包括：

獲取模塊，用于實(shí)時(shí)連續(xù)獲取第一用戶(hù)基于通話(huà)終端發(fā)送的第一視頻幀數(shù)據(jù)和與所述第一視頻幀數(shù)據(jù)相對(duì)應(yīng)的第一音頻數(shù)據(jù)，所述第一視頻幀數(shù)據(jù)包括所述第一用戶(hù)的第一人臉特征值；所述第一用戶(hù)的第一人臉特征值包含第一用戶(hù)的人臉特征點(diǎn)的位置坐標(biāo)；

處理模塊，用于選擇虛擬人臉模型，并根據(jù)所述第一視頻幀數(shù)據(jù)生成與所述虛擬人臉模型相對(duì)應(yīng)的虛擬人臉表情；

播放模塊，用于實(shí)時(shí)連續(xù)播放所述虛擬人臉表情，同時(shí)解碼并播放相對(duì)應(yīng)的所述第一音頻數(shù)據(jù)；

所述處理模塊包括：

確定單元，用于根據(jù)所述第一視頻幀數(shù)據(jù)確定所述第一用戶(hù)的人臉特征點(diǎn)的位置坐標(biāo)，并確定所述第一用戶(hù)的人臉特征點(diǎn)之間的相對(duì)位置；

調(diào)整單元，用于根據(jù)所述第一用戶(hù)的人臉特征點(diǎn)之間的相對(duì)位置調(diào)整所述虛擬人臉模型的人臉特征點(diǎn)的位置，并將調(diào)整后的虛擬人臉模型作為與所述第一視頻幀數(shù)據(jù)相對(duì)應(yīng)的虛擬人臉表情；

所述確定單元包括：

分組子單元，用于對(duì)所述人臉特征點(diǎn)進(jìn)行分組，并確定每組中的關(guān)鍵人臉特征點(diǎn)；

確定子單元，用于分別確定每組中相鄰的人臉特征點(diǎn)之間的相對(duì)位置，并確定不同組的關(guān)鍵人臉特征點(diǎn)之間的相對(duì)位置。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括：

采集模塊，用于實(shí)時(shí)采集第二用戶(hù)的人臉圖像和原始聲音數(shù)據(jù)；

生成模塊，用于根據(jù)所述人臉圖像確定所述第二用戶(hù)的第二人臉特征值，生成第二視頻幀數(shù)據(jù)，并根據(jù)所述原始聲音數(shù)據(jù)確定與所述第二視頻幀數(shù)據(jù)相對(duì)應(yīng)的第二音頻數(shù)據(jù)；

發(fā)送模塊，用于將所述第二視頻幀數(shù)據(jù)和所述第二音頻數(shù)據(jù)發(fā)送至所述第一用戶(hù)的通話(huà)終端。