[發(fā)明專利]虛擬表情生成方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010699705.2
• 申請(qǐng)日: 2020-07-20
• 公開（公告）號(hào): CN111798551A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 陳康;季勝裕;馬明洋;張偉東;李培
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06T13/80;G06K9/00;A63F13/52
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;臧建明

本申請(qǐng)?zhí)峁┮环N虛擬表情生成方法及裝置，該方法包括：對(duì)用戶圖像進(jìn)行關(guān)鍵點(diǎn)檢測，得到面部關(guān)鍵點(diǎn)；根據(jù)面部關(guān)鍵點(diǎn)和預(yù)設(shè)表情基，確定初始面部表情信息和頭部姿態(tài)信息；根據(jù)用戶圖像、面部關(guān)鍵點(diǎn)、初始面部表情信息和頭部姿態(tài)信息生驅(qū)動(dòng)動(dòng)畫模型做出虛擬表情。用于提高實(shí)時(shí)面部表情動(dòng)捕技術(shù)的準(zhǔn)確性，進(jìn)而降低虛擬表情和用戶的面部表情的差異。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種虛擬表情生成方法及裝置。

背景技術(shù)

在影視游戲制作中，通常需要采用實(shí)時(shí)面部表情動(dòng)捕技術(shù)追蹤用戶的面部表情得到用戶面部表情的參數(shù)化表示，并通過用戶面部表情的參數(shù)化表示來驅(qū)動(dòng)游戲人物的面部表情，使得游戲人物的表情接近用戶的面部表情。

在相關(guān)技術(shù)中，根據(jù)實(shí)時(shí)面部表情動(dòng)捕技術(shù)追蹤用戶的面部表情得到用戶面部表情的參數(shù)化表示的方法，通常可以包括：獲取用戶圖像；在用戶圖像中追蹤用戶的面部關(guān)鍵點(diǎn)；根據(jù)面部關(guān)鍵點(diǎn)，確定戶面部表情的參數(shù)化表示，通過用戶面部表情的參數(shù)化表示來驅(qū)動(dòng)游戲人物的面部表情。在上述方法中，在用戶圖像中追蹤面部關(guān)鍵點(diǎn)的過程中，若用戶的頭部運(yùn)動(dòng)，則導(dǎo)致對(duì)某些位置(例如：下顎、眉頭等)的關(guān)鍵點(diǎn)的追蹤并不穩(wěn)定，進(jìn)而導(dǎo)致用戶面部表情的參數(shù)化表示不準(zhǔn)確，降低實(shí)時(shí)面部表情動(dòng)捕技術(shù)的準(zhǔn)確性，進(jìn)而導(dǎo)致游戲人物的面部表情和用戶的面部表情差異較大。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N虛擬表情生成方法及裝置，用于提高實(shí)時(shí)面部表情動(dòng)捕技術(shù)的準(zhǔn)確性，進(jìn)而降低虛擬表情和用戶的面部表情的差異。

第一方面，本申請(qǐng)?zhí)峁┮环N虛擬表情生成方法，包括：

對(duì)用戶圖像進(jìn)行關(guān)鍵點(diǎn)檢測，得到面部關(guān)鍵點(diǎn)；

根據(jù)所述面部關(guān)鍵點(diǎn)和預(yù)設(shè)表情基，確定初始面部表情信息和頭部姿態(tài)信息；

根據(jù)所述用戶圖像、所述面部關(guān)鍵點(diǎn)、所述初始面部表情信息和所述頭部姿態(tài)信息驅(qū)動(dòng)動(dòng)畫模型做出虛擬表情。

在一種可能的設(shè)計(jì)中，所述根據(jù)所述用戶圖像、所述面部關(guān)鍵點(diǎn)、所述初始面部信息面部表情信息和所述頭部姿態(tài)信息驅(qū)動(dòng)動(dòng)畫模型做出不同的虛擬表情，包括：

根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息、所述頭部姿態(tài)信息中的至少一項(xiàng)，確定鼓腮信息、嘟嘴信息、眨眼信息、視線信息和舌部狀態(tài)信息；

根據(jù)所述初始面部表情信息、所述頭部姿態(tài)信息、所述視線信息、所述鼓腮信息、所述嘟嘴信息、所述眨眼信息和所述舌部狀態(tài)信息驅(qū)動(dòng)動(dòng)畫模型做出虛擬表情。

在另一種可能的設(shè)計(jì)中，所述根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息、所述頭部姿態(tài)信息中的至少一項(xiàng)，確定鼓腮信息、嘟嘴信息、眨眼信息、視線信息和舌部狀態(tài)信息，包括：

根據(jù)初始面部表情信息和所述面部關(guān)鍵點(diǎn)，確定所述鼓腮信息；

根據(jù)初始面部表情信息、所述頭部姿態(tài)信息和所述面部關(guān)鍵點(diǎn)，確定所述嘟嘴信息；

根據(jù)所述面部關(guān)鍵點(diǎn)、所述用戶圖像、所述初始面部表情信息和所述頭部姿態(tài)信息，確定所述眨眼信息；

根據(jù)所述面部關(guān)鍵點(diǎn)和所述用戶圖像，確定所述視線信息和所述舌部狀態(tài)信息。

在另一種可能的設(shè)計(jì)中，根據(jù)所述初始面部表情信息和所述面部關(guān)鍵點(diǎn)，確定所述鼓腮信息，包括：

若根據(jù)所述初始面部表情信息確定需要對(duì)所述用戶圖像進(jìn)行鼓腮檢測，則對(duì)所述面部關(guān)鍵點(diǎn)進(jìn)行插值處理，得到至少一個(gè)臉頰關(guān)鍵點(diǎn)對(duì)；

在至少一個(gè)臉頰關(guān)鍵點(diǎn)對(duì)中確定目標(biāo)臉頰關(guān)鍵點(diǎn)對(duì)；

根據(jù)所述目標(biāo)臉頰關(guān)鍵點(diǎn)對(duì)確定所述鼓腮信息。