[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的肖像圖像雙下巴去除方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110426710.0
• 申請(qǐng)日: 2021-04-20
• 公開(kāi)（公告）號(hào): CN113034355B
• 公開(kāi)（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 吳奕謙;金小剛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06T3/00
• 分類(lèi)號(hào): G06T3/00;G06V10/764;G06V10/774;G06V10/82;G06V10/44;G06V40/16;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的肖像圖像雙下巴去除方法，包括以下步驟：隨機(jī)采樣訓(xùn)練得到粗糙雙下巴分離邊界，經(jīng)過(guò)語(yǔ)義擴(kuò)散細(xì)化得到對(duì)應(yīng)的精細(xì)雙下巴分離邊界；輸入需要去除雙下巴的肖像圖像并進(jìn)行預(yù)處理，得到在StyleGAN2隱空間中對(duì)應(yīng)的隱碼；利用訓(xùn)練得到的精細(xì)雙下巴分離邊界對(duì)得到的隱碼進(jìn)行編輯，輸出一張沒(méi)有雙下巴并且保持其他面部特征不變的新肖像圖像；提取出新肖像圖像的脖頸區(qū)域的掩膜；用圖像扭曲方法調(diào)整新肖像圖像中的偏差，使新肖像圖像的脖頸和下巴無(wú)縫嵌入到所述需要去除雙下巴的肖像圖像中，計(jì)算得到去除雙下巴后的肖像圖像。本發(fā)明能夠在保持人臉的其他特征不變的情況下進(jìn)行雙下巴的去除，實(shí)現(xiàn)快速自動(dòng)地去除肖像照片中的雙下巴。

技術(shù)領(lǐng)域

本發(fā)明涉及肖像編輯技術(shù)領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的肖像圖像雙下巴去除方法。

背景技術(shù)

隨著移動(dòng)網(wǎng)絡(luò)和攝影技術(shù)的飛速發(fā)展，以人臉為主要表現(xiàn)形式的肖像圖像隨處可見(jiàn)。特別是由于社交媒體應(yīng)用在人類(lèi)社會(huì)生活中占有的地位逐步升高，為了給他人更好的第一印象，使得肖像圖像在社交媒體應(yīng)用中變得非常重要。社交媒體應(yīng)用的用戶(hù)經(jīng)常使用修飾工具來(lái)進(jìn)一步美化他們的肖像圖像，通過(guò)調(diào)整面部顏色形狀，糾正陰影、噪聲、畸變等問(wèn)題。

肖像圖像中的雙下巴的出現(xiàn)不僅僅取決于下巴和脖頸的特征，也取決于人臉姿態(tài)和光照條件。大多數(shù)用戶(hù)認(rèn)為，消除肖像圖像中的雙下巴能夠改進(jìn)人臉的吸引力。

現(xiàn)階段雙下巴技術(shù)主要是通過(guò)美工利用Photoshop軟件進(jìn)行手動(dòng)編輯會(huì)耗費(fèi)大量人力物力。

“Maskgan:Towards diverse and interactive facial image manipulation”(In Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages 5549-5558,2020)公開(kāi)了使用掩膜作為中間表示來(lái)交互式編輯人臉，但是在人臉特征保持上并不理想。

“Interpreting the Latent Space of GANs for Semantic Face Editing”(InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages9243-9252,2020)公開(kāi)了一種能尋求語(yǔ)義屬性在隱空間中對(duì)應(yīng)的分離邊界的方法，通過(guò)用分離邊界編輯隱碼，達(dá)到語(yǔ)義編輯的目的，但是語(yǔ)義無(wú)法被有效地解糾纏。

“A morphable model for the synthesis of 3D faces.”(InProceedings ofthe 26th annual conference on Computer graphics and interactive techniques,pages 187-194,1999)公開(kāi)了三維形變模型(3DMM)，所述三維形變模型能夠用參數(shù)表示三維人臉，但是沒(méi)有對(duì)脖頸區(qū)域的有效建模。

“A style-based generator architecture for generative adversarialnetworks.”(InProceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition,pages 4401-4410,2019)和“Analyzing and improving the imagequality of stylegan”(InProceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition,pages 8110-8119,2020)公開(kāi)了StyleGAN，所述StyleGAN是一種在生成非常高質(zhì)量的圖像的同時(shí)，構(gòu)建一個(gè)解糾纏的隱空間的生成對(duì)抗模型。