[發明專利]一種抿嘴笑編輯方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202211090277.9
• 申請日: 2022-09-07
• 公開（公告）號: CN116309087A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 陳進山;占小路;劉洛麒
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/00;G06T7/11;G06N3/0464;G06N3/08
• 代理公司: 廈門仕誠聯合知識產權代理事務所(普通合伙) 35227
• 代理人: 樂珠秀

本發明提供了一種抿嘴笑編輯方法、裝置、設備及可讀存儲介質，涉及計算機視覺與模式識別技術領域，包括獲取待編輯的抿嘴笑目標人臉圖；將所述抿嘴笑目標人臉圖輸入至預訓練的人臉編輯模型中，輸出新的抿嘴笑圖像；基于卷積神經網絡和損失函數，對所述抿嘴笑圖像進行提取和訓練，得到最終的抿嘴笑圖像。本發明的有益效果為能覆蓋大部分用戶場景，算法穩定；利用注意力模塊，提升網絡學習能力，大大提升抿嘴笑效果；并可以提升網絡輸出圖像的法令紋和嘴巴形狀逼真性。

技術領域

本發明涉及計算機視覺與模式識別技術領域，具體而言，涉及抿嘴笑編輯方法、裝置、設備及可讀存儲介質。

背景技術

人像抿嘴笑編輯(嘴巴閉上，蘋果肌旁邊法令紋明顯，帶有明顯的笑容)在圖像美顏方面有重大應用，如在美顏app中，用戶可以上傳自己各種表情圖片，然后通過抿嘴編輯算法讓圖中人像表情變為抿嘴笑，用于特效玩法，大大提升用戶體驗。

目前行業中，抿嘴笑編輯效果還不夠好，存在以下問題：通過傳統圖像算法，根據人臉點對待編輯圖像進行warp到抿嘴笑效果，存在warp后人臉紋理不自然，笑容不逼真等問題；以及目前主流的抿嘴笑編輯算法大部分是基于生成網絡(GANs)，而生成網絡生成人像像特征會發生改變，導致不像本人，不夠逼真。

發明內容

本發明的目的在于提供一種抿嘴笑編輯方法、裝置、設備及可讀存儲介質，以改善上述問題。為了實現上述目的，本發明采取的技術方案如下：

第一方面，本申請提供了一種抿嘴笑編輯方法，包括：

獲取待編輯的抿嘴笑目標人臉圖；

將所述抿嘴笑目標人臉圖輸入至預訓練的人臉編輯模型中，輸出新的抿嘴笑圖像；

基于卷積神經網絡和損失函數，對所述抿嘴笑圖像進行提取和訓練，得到最終的抿嘴笑圖像。

優選地，所述獲取待編輯的抿嘴笑目標人臉圖，之前包括：

采集人臉數據圖；

基于關鍵點檢測法,對采集到的所述人臉數據圖進行檢測并裁剪,得到512*512的目標人臉圖；

對所述目標人臉圖進行修圖得到待編輯的抿嘴笑目標人臉圖。

優選地，將所述抿嘴笑目標人臉圖輸入至預訓練的人臉編輯模型中，輸出新的抿嘴笑圖像，其中包括：

將所述目標人臉圖輸入至人臉語義分割網絡進行合成，得到人臉區域的蒙版圖像，將所述蒙版圖像作為先驗信息，所述先驗信息包括法令紋部位和嘴巴部位；

建立人臉編輯模型；

將所述先驗信息和待編輯的抿嘴笑目標人臉圖輸入至所述人臉編輯模型中，得到新的抿嘴笑圖像。

優選地，所述基于卷積神經網絡和損失函數，對所述抿嘴笑圖像進行提取和訓練，得到最終的抿嘴笑圖像，其中包括：

建立注意力模塊，利用卷積層提取所述注意力模塊中的特征，得到第一網絡分支和第二網絡分支；

對所述第一網絡分支進行softmax運算，得到第一結果；

根據所述第二網絡分支和預設的學習參數，對所述第一結果進行計算，得到第二結果；

根據損失函數，對所述第二結果進行優化，得到最終的抿嘴笑圖像。

第二方面，本申請還提供了一種抿嘴笑編輯裝置，包括：

獲取模塊：用于獲取待編輯的抿嘴笑目標人臉圖；

輸入模塊：用于將所述抿嘴笑目標人臉圖輸入至預訓練的人臉編輯模型中，輸出新的抿嘴笑圖像；