[發(fā)明專利]側(cè)臉矯正的方法、矯正裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211091716.8
• 申請(qǐng)日: 2022-09-07
• 公開(kāi)（公告）號(hào): CN115578762A
• 公開(kāi)（公告）日: 2023-01-06
• 發(fā)明（設(shè)計(jì)）人: 許愿權(quán);朱樹(shù)磊;王寧波;李亞鵬;郭思郁;殷俊
• 申請(qǐng)（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/44;G06V10/80;G06T15/00;G06T17/00;G06T7/50;G06T3/00;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 嚴(yán)翠霞

1.一種側(cè)臉矯正的方法，其特征在于，所述方法包括：

獲取目標(biāo)圖像，所述目標(biāo)圖像包括目標(biāo)人臉；

從所述目標(biāo)圖像中提取特征，得到所述目標(biāo)人臉的正臉特征和所述目標(biāo)人臉?biāo)幈尘暗谋尘疤卣鳎?/p>

將所述正臉特征和所述背景特征進(jìn)行融合處理，得到融合特征；

根據(jù)所述融合特征，生成矯正圖像，其中，所述矯正圖像中的人臉為與所述目標(biāo)人臉對(duì)應(yīng)的正臉。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述目標(biāo)圖像中提取特征，得到所述目標(biāo)人臉的正臉特征和所述目標(biāo)人臉?biāo)幈尘暗谋尘疤卣鞯牟襟E，包括：

從所述目標(biāo)圖像中分離出所述目標(biāo)人臉的人臉圖像和所述目標(biāo)人臉?biāo)幈尘暗谋尘皥D像；

對(duì)所述人臉圖像進(jìn)行正臉特征提取，得到所述正臉特征，以及對(duì)所述背景圖像進(jìn)行特征提取，得到所述背景特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從所述目標(biāo)圖像中分離出所述目標(biāo)人臉的人臉圖像和所述目標(biāo)人臉?biāo)幈尘暗谋尘皥D像的步驟，包括：

根據(jù)所述目標(biāo)圖像，生成所述目標(biāo)人臉的三維人臉模型；

根據(jù)所述三維人臉模型，生成所述目標(biāo)人臉在所述目標(biāo)圖像上的人臉掩膜；

根據(jù)所述人臉掩膜，從所述目標(biāo)圖像中分離出所述人臉圖像和所述背景圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述目標(biāo)圖像中提取特征，得到所述目標(biāo)人臉的正臉特征和所述目標(biāo)人臉?biāo)幈尘暗谋尘疤卣鞯牟襟E，包括：

利用預(yù)先訓(xùn)練好的側(cè)臉矯正模型中的編碼器從所述目標(biāo)圖像提取特征，得到所述正臉特征和所述背景特征；

所述根據(jù)融合特征，生成矯正圖像的步驟，包括：

將所述融合特征輸入所述側(cè)臉矯正模型中的生成器，生成所述矯正圖像。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述獲取目標(biāo)圖像之前，還包括：

獲取多個(gè)第一樣本圖像，每個(gè)所述第一樣本圖像均包括第一樣本人臉；

利用所述編碼器分別從每個(gè)所述第一樣本圖像中提取特征，得到每個(gè)所述第一樣本圖像中所述第一樣本人臉的第一樣本正臉特征和所述第一樣本人臉?biāo)幈尘暗牡谝粯颖颈尘疤卣鳎?/p>

利用所述編碼器從每個(gè)所述第一樣本圖像各自對(duì)應(yīng)的第二樣本圖像中提取特征，得到每個(gè)所述第二樣本圖像中第二樣本人臉的第二樣本正臉特征，其中，所述第一樣本圖像中的所述第一樣本人臉和所述第一樣本圖像對(duì)應(yīng)的所述第二樣本圖像中的所述第二樣本人臉對(duì)應(yīng)同一個(gè)樣本對(duì)象，所述第一樣本圖像中的背景和所述第一樣本圖像對(duì)應(yīng)的第二樣本圖像中的背景對(duì)應(yīng)同一背景，且每個(gè)所述第二樣本圖像中的所述第二樣本人臉為正臉；

分別將每個(gè)所述第一樣本圖像對(duì)應(yīng)的所述第一樣本正臉特征和所述第一樣本背景特征進(jìn)行融合處理，得到每個(gè)所述第一樣本圖像對(duì)應(yīng)的樣本融合特征；

分別將每個(gè)所述樣本融合特征輸入所述生成器，得到每個(gè)所述第一樣本圖像對(duì)應(yīng)的樣本矯正圖像；

根據(jù)多個(gè)所述第一樣本正臉特征和所述第一樣本正臉特征各自對(duì)應(yīng)的所述第二樣本正臉特征，確定第一損失值；

根據(jù)多個(gè)所述樣本矯正圖像和所述樣本矯正圖像對(duì)應(yīng)的所述第二樣本圖像，確定第二損失值；

根據(jù)所述第一損失值和所述第二損失值，確定總損失值；

根據(jù)所述總損失值對(duì)所述側(cè)臉矯正模型進(jìn)行訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)多個(gè)所述樣本矯正圖像和所述樣本矯正圖像對(duì)應(yīng)的所述第二樣本圖像，確定第二損失值的步驟，包括：

根據(jù)多個(gè)所述樣本矯正圖像的像素值和每個(gè)所述樣本矯正圖像對(duì)應(yīng)的所述第二樣本圖像的像素值，確定第一子損失值；

根據(jù)多個(gè)所述樣本矯正圖像的人臉特征和每個(gè)所述樣本矯正圖像對(duì)應(yīng)的所述第二樣本圖像的人臉特征，確定第二子損失值；

根據(jù)多個(gè)所述樣本矯正圖像中人臉上的至少一個(gè)目標(biāo)部位的第一部位特征和每個(gè)所述樣本矯正圖像對(duì)應(yīng)的所述第二樣本圖像中人臉上的至少一個(gè)所述目標(biāo)部位的第二部位特征，確定第三子損失值；

根據(jù)所述第一子損失值、第二子損失值以及所述第三子損失值中的至少一個(gè)，確定所述第二損失值。