[發明專利]圖像處理方法、模型訓練方法、裝置、設備和介質

有效

• 申請號: 202011270145.5
• 申請日: 2020-11-13
• 公開（公告）號: CN112381709B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 何茜
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/08
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像；所述待處理圖像上展示的目標對象具有第一眼睛狀態；

利用預先訓練的眼睛狀態轉換模型，生成所述待處理圖像對應的目標圖像；所述目標圖像上展示的所述目標對象具有第二眼睛狀態，所述第二眼睛狀態與所述第一眼睛狀態不同；其中，所述第一眼睛狀態包括閉眼狀態，所述第二眼睛狀態包括睜眼狀態；或者，所述第一眼睛狀態包括睜眼狀態，所述第二眼睛狀態包括閉眼狀態；

所述方法還包括：

獲取所述待處理圖像上展示的所述目標對象對應的眼睛蒙版圖像和瞳孔蒙版圖像；所述眼睛蒙版圖像用于確定所述目標對象的眼睛區域，所述瞳孔蒙版圖像用于確定所述目標對象的瞳孔區域；且，所述眼睛蒙版圖像上展示的眼睛狀態為所述第二眼睛狀態，所述瞳孔蒙版圖像上展示的瞳孔區域為所述第二眼睛狀態下的瞳孔區域；其中，所述蒙版圖像是按照如下方式獲取得到的：利用臉部識別技術，確定所述待處理圖像上展示的目標對象的類型，識別所述目標對象的眼睛區域以及瞳孔區域，結合所述目標對象的類型，為所述待處理圖像上展示的所述目標對象生成符合當前圖像編輯需求的眼睛蒙版圖像和瞳孔蒙版圖像；

其中，所述眼睛狀態轉換模型包括眼睛狀態圖像生成模型；

所述利用預先訓練的眼睛狀態轉換模型，生成所述待處理圖像對應的目標圖像，包括：

將所述待處理圖像輸入至所述眼睛狀態圖像生成模型，并基于所述眼睛蒙版圖像和所述瞳孔蒙版圖像以及眼部區域蒙版圖像，生成所述目標圖像；所述眼部區域蒙版圖像用于確定包圍眼睛的圖像區域；其中，所述眼部區域蒙版圖像是在模型訓練階段預先確定的。

2.根據權利要求1所述的方法，其特征在于，在所述獲取待處理圖像之后，所述方法還包括：

識別所述待處理圖像上展示的所述目標對象的眼部關鍵點；

基于所述眼部關鍵點，確定所述目標對象的第一眼睛狀態，以將所述待處理圖像輸入所述眼睛狀態轉換模型。

3.根據權利要求1所述的方法，其特征在于，所述眼睛狀態轉換模型還包括蒙版圖像生成模型；

相應的，所述獲取所述待處理圖像上展示的所述目標對象對應的眼睛蒙版圖像和瞳孔蒙版圖像，包括：

將所述待處理圖像輸入至所述蒙版圖像生成模型，并基于所述眼部區域蒙版圖像，生成所述待處理圖像上展示的所述目標對象對應的所述眼睛蒙版圖像和所述瞳孔蒙版圖像。

4.根據權利要求1所述的方法，其特征在于，所述眼睛狀態轉換模型基于第一樣本圖像集和第二樣本圖像集訓練得到，所述第一樣本圖像集中的每個圖像上展示的目標對象具有所述第一眼睛狀態，所述第二樣本圖像集中的每個圖像上展示的目標對象具有所述第二眼睛狀態。

5.根據權利要求1所述的方法，其特征在于，所述眼睛狀態圖像生成模型基于第一樣本圖像集、第二樣本圖像集、眼部區域蒙版圖像、以及所述第一樣本圖像集對應的第一眼睛蒙版樣本圖像集和第一瞳孔蒙版樣本圖像集訓練得到；

所述第一眼睛蒙版樣本圖像集中的每個圖像用于確定目標對象的眼睛區域，所述第一瞳孔蒙版樣本圖像集中的每個圖像用于確定目標對象的瞳孔區域。

6.根據權利要求5所述的方法，其特征在于，所述第一眼睛蒙版樣本圖像集和第一瞳孔蒙版樣本圖像集，由蒙版圖像生成模型基于所述第一樣本圖像集和所述眼部區域蒙版圖像生成。

7.根據權利要求6所述的方法，其特征在于，所述蒙版圖像生成模型基于所述第一樣本圖像集和所述眼部區域蒙版圖像訓練得到。

8.根據權利要求1所述的方法，其特征在于，所述獲取待處理圖像，包括：

響應于用戶的觸發指令，獲取所述待處理圖像；

相應的，所述利用預先訓練的眼睛狀態轉換模型，生成所述待處理圖像對應的目標圖像之后，所述方法還包括：

展示所述目標圖像。