[發明專利]基于生成對抗網絡的張嘴笑表情生成方法、裝置以及設備

在審

• 申請號: 202310152329.9
• 申請日: 2023-02-22
• 公開（公告）號: CN116109477A
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 占小路;陳進山;羅鋮;劉洛麒
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V40/16;G06V10/25;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/09;G06N3/094;G06N3/084
• 代理公司: 廈門仕誠聯合知識產權代理事務所(普通合伙) 35227
• 代理人: 陳蓓蓓

本發明公開了一種基于生成對抗網絡的張嘴笑表情生成方法、裝置及設備，其包括：對采集的原始人臉圖以及對應所述原始人臉圖的張嘴笑目標圖進行預處理，將預處理后的所述原始人臉圖作為訓練數據圖像，將預處理后的所述張嘴笑目標圖作為目標監督圖像；將所述訓練數據圖像輸入包括編碼器以及stylegan2網絡所構建的模型中并在所述目標監督圖像的監督下、基于預設損失函數進行訓練，得到張嘴笑表情生成模型；獲取待處理圖像并輸入所述張嘴笑表情生成模型，得到具有張嘴笑表情的結果生成圖。能夠生成更加清晰和更多的臉部細節信息，能夠實現更加自然的張嘴笑表情。

技術領域

本發明涉及圖像處理技術領域，尤其涉及基于生成對抗網絡的張嘴笑表情生成方法、裝置以及設備。

背景技術

拍照時人們都盡量喜歡保持張嘴笑，但針對一些具有鏡頭恐懼或者笑容尷尬癥的人，拍出來的效果往往不如意，為了處理表情的瑕疵往往需要通過復雜的p圖操作，耗時又耗力。然而，現有傳統方法難以通過曲線調整實現自然的面部肌肉走勢，從而實現張嘴笑，無法生成牙齒等細節面部信息；基于cnn的方法也難以生成較好清晰完整的牙齒，且生成圖像不夠清晰自然。

發明內容

有鑒于此，本發明的目的在于提出一種基于生成對抗網絡的張嘴笑表情生成方法、裝置、設備以及計算機可讀存儲介質，旨在解決上述的問題，從而能夠實現快速使圖像中的人物生成自然的張嘴笑表情，讓有笑容尷尬癥的用戶一展傾城笑顏。

為實現上述目的，本發明提供一種基于生成對抗網絡的張嘴笑表情生成方法，所述方法包括：

對采集的原始人臉圖以及對應所述原始人臉圖的張嘴笑目標圖進行預處理，將預處理后的所述原始人臉圖作為訓練數據圖像，將預處理后的所述張嘴笑目標圖作為目標監督圖像；

將所述訓練數據圖像輸入包括編碼器以及stylegan2網絡所構建的模型中并在所述目標監督圖像的監督下、基于預設損失函數進行訓練，得到張嘴笑表情生成模型；

獲取待處理圖像并輸入所述張嘴笑表情生成模型，得到具有張嘴笑表情的結果生成圖。

優選的，所述對采集的原始人臉圖以及對應所述原始人臉圖的張嘴笑目標圖進行預處理，包括：

對所述原始人臉圖以及所述張嘴笑目標圖進行幾何操作、以及亮度和噪聲擾動，其中，所述幾何操作包括裁剪、平移以及左右翻轉。

優選的，所述stylegan2網絡包括生成器以及判別器；所述將所述訓練數據圖像輸入包括編碼器以及stylegan2網絡所構建的模型中并在所述目標監督圖像的監督下、基于預設損失函數進行訓練，包括：

通過所述編碼器對所述訓練數據圖像進行特征提取并映射至隱空間，輸出第一圖像；

將所述第一圖像輸入所述生成器進行臉部細節生成，輸出第二圖像；

將所述第二圖像輸入所述判別器中并基于所述目標監督圖像進行判別。

優選的，所述通過所述編碼器對所述訓練數據圖像進行特征提取并映射至隱空間，包括：

通過所述編碼器對所述訓練數據圖像進行9次卷積下采樣操作。

優選的，所述將所述第一圖像輸入所述生成器進行臉部細節生成，包括：

通過所述生成器對所述第一圖像進行9次卷積上采樣操作。

優選的，所述張嘴笑表情生成模型還包括預訓練的人臉屬性分類器；所述將所述訓練數據圖像輸入包括編碼器以及stylegan2網絡所構建的模型中并在所述目標監督圖像的監督下、基于預設損失函數進行訓練，包括：

通過所述人臉屬性分類器對所述第二圖像中根據預設的感興趣區域的不同人臉區域進行分類。