[發明專利]風格圖像生成方法、模型訓練方法、裝置、設備和介質

有效

• 申請號: 202011063185.2
• 申請日: 2020-09-30
• 公開（公告）號: CN112989904B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 胡興鴻;尹淳驥
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06K9/62;G06T5/50;G06T7/11
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

1.一種風格圖像生成方法，其特征在于，包括：

獲取原始人臉圖像，識別所述原始人臉圖像上的人臉區域；

根據所述人臉區域在所述原始人臉圖像上的實際位置信息和預設位置信息，對所述人臉區域在所述原始人臉圖像上的位置進行調整，得到調整后的第一人臉圖像，其中，所述預設位置信息為所述人臉區域位于所述原始人臉圖像中的位置信息；

根據預設伽馬值對所述第一人臉圖像的像素值進行校正，得到伽馬校正后的第二人臉圖像；

基于所述第一人臉圖像或者所述第二人臉圖像，提取人臉輪廓特征點，以及目標五官區域關鍵點；

分別根據所述人臉輪廓特征點和所述目標五官區域關鍵點生成全臉蒙版圖像和局部蒙版圖像，所述局部蒙版圖像包括眼部區域蒙版和/或嘴部區域蒙版；

將所述全臉蒙版圖像與所述局部蒙版圖像的像素值進行減法運算，得到殘缺蒙版圖像；

基于所述殘缺蒙版圖像，在所述第二人臉圖像上去除目標五官區域獲取目標圖像區域，將所述目標圖像區域與所述第一人臉圖像的目標五官區域進行區域融合，得到亮度調整后的第三人臉圖像；

基于所述亮度調整后的第三人臉圖像，利用預先訓練的風格圖像生成模型，得到對應的目標風格人臉圖像；

其中，所述風格圖像生成模型基于多個原始人臉樣本圖像和多個目標風格人臉樣本圖像訓練得到，所述多個目標風格人臉樣本圖像由預先訓練的圖像生成模型生成，并且，所述圖像生成模型基于預先獲取的多個標準風格人臉樣本圖像和目標風格信息訓練得到。

2.根據權利要求1所述的方法，其特征在于，所述根據所述人臉區域在所述原始人臉圖像上的實際位置信息和預設位置信息，對所述人臉區域在所述原始人臉圖像上的位置進行調整，包括：

獲取所述人臉區域中至少三個目標參考點的實際位置；

獲取所述至少三個目標參考點的預設位置；

基于所述至少三個目標參考點的實際位置，以及所述至少三個目標參考點的預設位置，構建位置調整矩陣；

基于所述位置調整矩陣，對所述人臉區域在所述原始人臉圖像上的位置進行調整。

3.根據權利要求2所述的方法，其特征在于，所述至少三個目標參考點包括左眼區域參考點、右眼區域參考點和鼻部參考點。

4.根據權利要求3所述的方法，其特征在于，所述左眼區域參考點包括左眼中心參考點，所述右眼區域參考點包括右眼中心參考點，所述鼻部參考點包括鼻尖參考點；

所述獲取所述至少三個目標參考點的預設位置，包括：

獲取所述鼻尖參考點的預設位置坐標；

獲取預設的裁剪倍率和預設的目標分辨率；

基于所述鼻尖參考點的預設位置坐標、所述預設的裁剪倍率和所述預設的目標分辨率，獲取所述左眼中心參考點的預設位置坐標和所述右眼中心參考點的預設位置坐標。

5.根據權利要求2-4中任一所述的方法，其特征在于，所述獲取所述人臉區域中至少三個目標參考點的實際位置，包括：

對所述原始人臉圖像進行關鍵點檢測，獲取所述人臉區域中至少三個目標參考點的實際位置坐標。

6.根據權利要求1所述的方法，其特征在于，所述根據所述目標五官區域關鍵點，生成局部蒙版圖像，包括：

根據所述目標五官區域關鍵點，生成候選局部蒙版圖像，所述候選局部蒙版圖像包括眼部區域蒙版和/或嘴部區域蒙版；

對所述候選局部蒙版圖像進行高斯模糊處理；

基于所述高斯模糊處理后的候選局部蒙版圖像，選擇像素值大于預設閾值的區域生成所述局部蒙版圖像。

7.根據權利要求1所述的方法，其特征在于，所述將全臉蒙版圖像與所述局部蒙版圖像的像素值進行減法運算，得到殘缺蒙版圖像之后，還包括：

對所述殘缺蒙版圖像進行高斯模糊處理；

所述基于所述殘缺蒙版圖像，對所述第一人臉圖像和所述第二人臉圖像進行融合處理，得到亮度調整后的第三人臉圖像，包括：

基于所述高斯模糊處理后的殘缺蒙版圖像，對所述第一人臉圖像和所述第二人臉圖像進行融合處理，得到所述亮度調整后的第三人臉圖像。