[發(fā)明專利]人臉變形目標(biāo)修正方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202310089427.2
• 申請(qǐng)日: 2023-01-30
• 公開（公告）號(hào): CN116012550A
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 高杰
• 申請(qǐng)（專利權(quán)）人: 百果園技術(shù)（新加坡）有限公司
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20;G06T7/11
• 代理公司: 廣州利能知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44673
• 代理人: 王增鑫

1.一種人臉變形目標(biāo)修正方法，其特征在于，包括：

獲取基底人臉系數(shù)集，所述基底人臉系數(shù)集包含預(yù)采集的多個(gè)人臉基底的中性人臉系數(shù)及平均人臉系數(shù)，所述人臉系數(shù)包含人臉形狀系數(shù)；

根據(jù)三維人臉模型的人臉網(wǎng)格中各個(gè)預(yù)設(shè)人臉區(qū)域相對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)信息，將所述基底人臉系數(shù)集對(duì)應(yīng)分割成各個(gè)人臉區(qū)域的區(qū)域人臉系數(shù)；

根據(jù)每個(gè)人臉區(qū)域相對(duì)應(yīng)的區(qū)域人臉系數(shù)對(duì)所述人臉網(wǎng)格中相應(yīng)區(qū)域的頂點(diǎn)進(jìn)行優(yōu)化，以確定出所述人臉網(wǎng)格的人臉形狀系數(shù)；

根據(jù)優(yōu)化后的人臉形狀系數(shù)修正所述三維人臉模型的人臉變形目標(biāo)。

2.根據(jù)權(quán)利要求1所述的人臉變形目標(biāo)修正方法，其特征在于，根據(jù)三維人臉模型的人臉網(wǎng)格中各個(gè)預(yù)設(shè)人臉區(qū)域相對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)信息，將所述基底人臉系數(shù)集對(duì)應(yīng)分割成各個(gè)人臉區(qū)域的區(qū)域人臉系數(shù)，包括：

針對(duì)用于生成所述人臉變形目標(biāo)的人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，獲得所述人臉圖像中人臉區(qū)域圖像的人臉關(guān)鍵點(diǎn)信息；

對(duì)齊所述人臉關(guān)鍵點(diǎn)信息中各個(gè)人臉關(guān)鍵點(diǎn)與所述三維人臉模型的人臉網(wǎng)格中的標(biāo)準(zhǔn)人臉頂點(diǎn)，確定各人臉區(qū)域下人臉關(guān)鍵點(diǎn)與頂點(diǎn)之間的映射關(guān)系；

根據(jù)所述映射關(guān)系，從所述基底人臉系數(shù)集中分割出所述人臉網(wǎng)格中各個(gè)預(yù)設(shè)人臉區(qū)域相對(duì)應(yīng)的區(qū)域人臉系數(shù)，每個(gè)區(qū)域人臉系數(shù)均包括相應(yīng)區(qū)域的中性人臉系數(shù)及平均人臉系數(shù)。

3.根據(jù)權(quán)利要求1所述的人臉變形目標(biāo)修正方法，其特征在于，所述人臉區(qū)域包括眼睛區(qū)域、眉額區(qū)域、鼻部區(qū)域、嘴部區(qū)域以及臉部輪廓區(qū)域，各個(gè)人臉區(qū)域均具有對(duì)稱結(jié)構(gòu)。

4.根據(jù)權(quán)利要求1所述的人臉變形目標(biāo)修正方法，其特征在于，根據(jù)每個(gè)人臉區(qū)域相對(duì)應(yīng)的區(qū)域人臉系數(shù)對(duì)所述人臉網(wǎng)格中相應(yīng)區(qū)域的頂點(diǎn)進(jìn)行優(yōu)化，以確定出所述人臉網(wǎng)格的人臉形狀系數(shù)，包括：

基于非線性優(yōu)化算法，對(duì)屬于人臉頂半部之外的其他人臉區(qū)域相對(duì)應(yīng)的頂點(diǎn)實(shí)施第一優(yōu)化操作；

基于線性優(yōu)化算法，對(duì)屬于人臉頂半部的各個(gè)人臉區(qū)域相對(duì)應(yīng)的頂點(diǎn)實(shí)施第二優(yōu)化操作。

5.根據(jù)權(quán)利要求1所述的人臉變形目標(biāo)修正方法，其特征在于，獲取基底人臉系數(shù)集之前，包括：

根據(jù)所述三維人臉模型的人臉變形目標(biāo)判斷用于生成所述人臉變形目標(biāo)的人臉圖像是否屬于其所在的視頻流中的關(guān)鍵幀，當(dāng)屬于關(guān)鍵幀時(shí)，執(zhí)行后續(xù)步驟，否則忽略后續(xù)步驟。

6.根據(jù)權(quán)利要求1所述的人臉變形目標(biāo)修正方法，其特征在于，根據(jù)所述三維人臉模型的人臉變形目標(biāo)判斷用于生成所述人臉變形目標(biāo)的人臉圖像是否屬于其所在的視頻流中的關(guān)鍵幀，包括：

獲取屬于視頻流中的當(dāng)前圖像幀的所述人臉變形目標(biāo)；

對(duì)所述人臉變形目標(biāo)的向量表示進(jìn)行統(tǒng)計(jì)分析，計(jì)算出所述人臉變形目標(biāo)的投影距離；

判斷所述投影距離是否超過(guò)預(yù)設(shè)的距離閾值，當(dāng)超過(guò)所述距離閾值時(shí)，確定當(dāng)前圖像幀為關(guān)鍵幀，否則為非關(guān)鍵幀。

7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的人臉變形目標(biāo)修正方法，其特征在于，根據(jù)優(yōu)化后的人臉形狀系數(shù)修正所述三維人臉模型的人臉變形目標(biāo)之后，包括：

將修正后的人臉變形目標(biāo)應(yīng)用于所述三維人臉模型，渲染出該人臉變形目標(biāo)相對(duì)應(yīng)的數(shù)字人的人臉圖像；

將所述數(shù)字人的人臉圖像替換用于生成所述人臉變形目標(biāo)的視頻流的圖像幀中的人臉圖像，將該視頻流推送至直播間顯示。

8.一種人臉變形目標(biāo)修正裝置，其特征在于，包括：

基底系數(shù)獲取模塊，設(shè)置為獲取基底人臉系數(shù)集，所述基底人臉系數(shù)集包含預(yù)采集的多個(gè)人臉基底的中性人臉系數(shù)及平均人臉系數(shù)，所述人臉系數(shù)包含人臉形狀系數(shù)；

人臉區(qū)域分割模塊，設(shè)置為根據(jù)三維人臉模型的人臉網(wǎng)格中各個(gè)預(yù)設(shè)人臉區(qū)域相對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)信息，將所述基底人臉系數(shù)集對(duì)應(yīng)分割成各個(gè)人臉區(qū)域的區(qū)域人臉系數(shù)；

頂點(diǎn)分區(qū)優(yōu)化模塊，設(shè)置為根據(jù)每個(gè)人臉區(qū)域相對(duì)應(yīng)的區(qū)域人臉系數(shù)對(duì)所述人臉網(wǎng)格中相應(yīng)區(qū)域的頂點(diǎn)進(jìn)行優(yōu)化，以確定出所述人臉網(wǎng)格的人臉形狀系數(shù)；

變形目標(biāo)修正模塊，設(shè)置為根據(jù)優(yōu)化后的人臉形狀系數(shù)修正所述三維人臉模型的人臉變形目標(biāo)。