[發(fā)明專(zhuān)利]虛擬表情生成方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010699705.2
• 申請(qǐng)日: 2020-07-20
• 公開(kāi)（公告）號(hào): CN111798551A
• 公開(kāi)（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 陳康;季勝裕;馬明洋;張偉東;李培
• 申請(qǐng)（專(zhuān)利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類(lèi)號(hào): G06T13/40
• 分類(lèi)號(hào): G06T13/40;G06T13/80;G06K9/00;A63F13/52
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;臧建明

1.一種虛擬表情生成方法，其特征在于，包括：

對(duì)用戶圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，得到面部關(guān)鍵點(diǎn)；

根據(jù)所述面部關(guān)鍵點(diǎn)和預(yù)設(shè)表情基，確定初始面部表情信息和頭部姿態(tài)信息；

根據(jù)所述用戶圖像、所述面部關(guān)鍵點(diǎn)、所述初始面部信息面部表情信息和所述頭部姿態(tài)信息驅(qū)動(dòng)動(dòng)畫(huà)模型做出虛擬表情。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述用戶圖像、所述面部關(guān)鍵點(diǎn)、所述初始面部信息面部表情信息和所述頭部姿態(tài)信息驅(qū)動(dòng)動(dòng)畫(huà)模型做出不同的虛擬表情，包括：

根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息、所述頭部姿態(tài)信息中的至少一項(xiàng)，確定鼓腮信息、嘟嘴信息、眨眼信息、視線信息和舌部狀態(tài)信息；

根據(jù)所述初始面部表情信息、所述頭部姿態(tài)信息、所述視線信息、所述鼓腮信息、所述嘟嘴信息、所述眨眼信息和所述舌部狀態(tài)信息驅(qū)動(dòng)動(dòng)畫(huà)模型做出虛擬表情。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息、所述頭部姿態(tài)信息中的至少一項(xiàng)，確定鼓腮信息、嘟嘴信息、眨眼信息、視線信息和舌部狀態(tài)信息，包括：

根據(jù)所述初始面部表情信息和所述面部關(guān)鍵點(diǎn)，確定所述鼓腮信息；

根據(jù)所述初始面部表情信息、所述頭部姿態(tài)信息和所述面部關(guān)鍵點(diǎn)，確定所述嘟嘴信息；

根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息和所述頭部姿態(tài)信息，確定所述眨眼信息；

根據(jù)所述面部關(guān)鍵點(diǎn)和所述用戶圖像，確定所述視線信息和所述舌部狀態(tài)信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述初始面部表情信息和所述面部關(guān)鍵點(diǎn)，確定所述鼓腮信息，包括：

若根據(jù)所述初始面部表情信息確定需要對(duì)所述用戶圖像進(jìn)行鼓腮檢測(cè)，則對(duì)所述面部關(guān)鍵點(diǎn)進(jìn)行插值處理，得到至少一個(gè)臉頰關(guān)鍵點(diǎn)對(duì)；

在至少一個(gè)臉頰關(guān)鍵點(diǎn)對(duì)中確定目標(biāo)臉頰關(guān)鍵點(diǎn)對(duì)；

根據(jù)所述目標(biāo)臉頰關(guān)鍵點(diǎn)對(duì)確定所述鼓腮信息。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述初始面部表情信息、所述頭部姿態(tài)信息和所述面部關(guān)鍵點(diǎn)，確定所述嘟嘴信息，包括：

若據(jù)所述初始面部表情信息和所述頭部姿態(tài)信息確定需要對(duì)所述用戶圖像進(jìn)行嘟嘴檢測(cè)，則在所述面部關(guān)鍵點(diǎn)中確定嘴部關(guān)鍵點(diǎn)；

根據(jù)所述嘴部關(guān)鍵點(diǎn)，確定嘴部特征信息；

通過(guò)預(yù)設(shè)模型對(duì)所述嘴部特征信息進(jìn)行聚類(lèi)分析，得到所述嘟嘴信息。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息和所述頭部姿態(tài)信息，確定所述眨眼信息，包括：

若據(jù)所述初始面部表情信息和所述頭部姿態(tài)信息確定需要對(duì)所述用戶圖像進(jìn)行眨眼檢測(cè)，則根據(jù)所述面部關(guān)鍵點(diǎn)，在所述用戶圖像中獲取第一眼部圖像；

對(duì)所述第一眼部圖像進(jìn)行預(yù)處理得到第二眼部圖像，所述第二眼部圖像與第一預(yù)設(shè)網(wǎng)絡(luò)模型適配，通過(guò)所述第一預(yù)設(shè)網(wǎng)絡(luò)模型對(duì)所述第二眼部圖像進(jìn)行處理得到所述眨眼信息。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述面部關(guān)鍵點(diǎn)和所述用戶圖像，確定所述視線信息和所述舌部狀態(tài)信息，包括：

根據(jù)所述面部關(guān)鍵點(diǎn)，在所述用戶圖像中獲取第一眼部圖像和第一嘴部圖像；

對(duì)所述第一眼部圖像進(jìn)行預(yù)處理得到第三眼部圖像，所述第三眼部圖像與第二預(yù)設(shè)網(wǎng)絡(luò)模型適配，通過(guò)所述第二預(yù)設(shè)網(wǎng)絡(luò)模型對(duì)所述第三眼部圖像進(jìn)行處理得到所述視線信息；

對(duì)所述第一嘴部圖像進(jìn)行預(yù)處理得到第二嘴部圖像，所述第二嘴部圖像和第三預(yù)設(shè)網(wǎng)絡(luò)模型適配，通過(guò)所述第三預(yù)設(shè)網(wǎng)絡(luò)模型對(duì)所述第二嘴部圖像進(jìn)行處理得到所述舌部狀態(tài)信息。