[發(fā)明專利]圖像編輯方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010529860.X
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111814566A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 李琦;柴振華;賴申其;孫哲南;鄧琪瑤
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司;中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T11/60
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 任亞娟

本申請(qǐng)實(shí)施例公開了一種圖像編輯方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取待編輯人臉圖像和與待編輯人臉圖像中的目標(biāo)屬性區(qū)域?qū)?yīng)的掩碼圖，并獲取參考圖像；根據(jù)掩碼圖，將待編輯人臉圖像處理為缺失目標(biāo)屬性區(qū)域的缺失圖像；通過第一編碼器對(duì)缺失圖像進(jìn)行圖像編碼，得到缺失圖像對(duì)應(yīng)的缺失特征；通過第二編碼器對(duì)參考圖像進(jìn)行圖像編碼，得到參考圖像對(duì)應(yīng)的參考特征；根據(jù)所述掩碼圖，通過注意力模型對(duì)所述缺失特征和參考特征進(jìn)行融合，得到融合特征；通過解碼器對(duì)所述融合特征進(jìn)行圖像解碼，得到所述待編輯人臉圖像和參考圖像對(duì)應(yīng)的目標(biāo)圖像。本申請(qǐng)實(shí)施例提高了人臉屬性編輯的多樣性，避免了對(duì)目標(biāo)屬性區(qū)域外無關(guān)區(qū)域的影響。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種圖像編輯方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

人臉編輯由于其在影視制作、照片處理和交互式娛樂等方面的潛在應(yīng)用，在計(jì)算機(jī)視覺界引起了極大的關(guān)注。近年來隨著生成對(duì)抗網(wǎng)絡(luò)的發(fā)展，人臉編輯已取得了巨大進(jìn)步。目前主流的人臉編輯方法大致分為三大類：基于標(biāo)簽條件的方法、基于幾何指導(dǎo)的方法和基于參考引導(dǎo)的方法。基于標(biāo)簽條件的方法以預(yù)定義的屬性標(biāo)簽為條件編輯人臉屬性，該方法以二值屬性標(biāo)簽為條件，只適用于編輯外觀紋理變化的顯著屬性(例如發(fā)色、年老化和去除胡子等)，難以實(shí)現(xiàn)抽象形狀變化(例如鷹鉤鼻、丹鳳眼等)，缺乏控制高級(jí)語(yǔ)義面部組件(例如眼睛、鼻子和嘴等)形狀的靈活性。為了能靈活編輯人臉屬性的形狀，基于幾何指導(dǎo)的方法提出利用精確的中間表示(例如關(guān)鍵點(diǎn)，分割圖和輪廓草圖等)實(shí)現(xiàn)具有明顯拓?fù)湫巫兊娜四槍傩跃庉嫞欢@種方式費(fèi)時(shí)費(fèi)力并且要求具有繪畫技能。與基于幾何指導(dǎo)的方法不同，基于參考引導(dǎo)的方法直接從參考圖像中學(xué)習(xí)相應(yīng)的人臉信息進(jìn)行人臉編輯，不需要精確的輔助表示，避免了人臉編輯對(duì)精確的輪廓草圖、顏色圖和分割圖的依賴。

現(xiàn)有技術(shù)中，基于參考引導(dǎo)的方法有如下兩種：ExGANs和ELEGANT。

ExGANs是一種基于參考圖像進(jìn)行人臉補(bǔ)全的方法。ExGANs是條件生成對(duì)抗網(wǎng)絡(luò)的一種擴(kuò)展，它以具有目標(biāo)補(bǔ)全內(nèi)容的參考圖像或感知編碼作為條件。ExGANs的訓(xùn)練流程可以概括為：對(duì)輸入圖像標(biāo)記眼睛，即去除眼睛區(qū)域；以具有目標(biāo)補(bǔ)全內(nèi)容的參考圖像或感知編碼為指導(dǎo)對(duì)圖像進(jìn)行補(bǔ)全；通過輸入圖像和補(bǔ)全圖像之間的內(nèi)容重構(gòu)損失，計(jì)算生成器參數(shù)的梯度；通過補(bǔ)全圖像、原始圖和參考圖像或感知代碼計(jì)算判別器參數(shù)的梯度；通過生成器反向傳播判別器的誤差。

ELEGANT是一種基于參考圖像實(shí)現(xiàn)人臉屬性編輯的方法。ELEGANT以具有相反屬性的兩張圖片A和B作為輸入，兩張圖片不要求相同身份。在潛在空間中以解耦的方式對(duì)圖片的所有屬性進(jìn)行編碼，即假設(shè)所有屬性互不關(guān)聯(lián)，可以分開表示。通過交換兩張圖片同一類型屬性的潛在編碼將屬性從一幅圖像轉(zhuǎn)移到另一幅圖像。兩張圖片的原始屬性編碼和交換后的屬性編碼兩兩結(jié)合，可以得到四種編碼結(jié)果。為了緩解對(duì)目標(biāo)屬性無關(guān)區(qū)域的影響，以殘差圖的形式表示編輯的屬性區(qū)域。最后，殘差圖與相應(yīng)原始圖相加得到四種生成結(jié)果：A圖片的重建，交換屬性后的A圖片，B圖片的重建，交換屬性后的B圖片。

由于ExGANs要求參考圖像必須是同一身份，而同一身份的人臉五官形狀不會(huì)發(fā)生變化，因此該模型只能應(yīng)用于睜眼-閉眼的人眼補(bǔ)全任務(wù)，無法擴(kuò)展到其他人臉屬性編輯。而ELEGANT局限于編輯外觀紋理變化的屬性，不能編輯抽象語(yǔ)義形狀的屬性，而且由于ELEGANT以解耦的方式編碼所有屬性，但是，屬性標(biāo)注集的屬性彼此關(guān)聯(lián)(例如：發(fā)色和年齡)，無法完全分開獨(dú)立編碼，因此，解耦的前提假設(shè)并不符合實(shí)際情況，導(dǎo)致對(duì)與目標(biāo)屬性無關(guān)的區(qū)域有顯著影響。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種圖像編輯方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，有助于提高人臉屬性編輯的多樣性且避免對(duì)無關(guān)區(qū)域的影響。

為了解決上述問題，第一方面，本申請(qǐng)實(shí)施例提供了一種圖像編輯方法，包括：

獲取待編輯人臉圖像和與待編輯人臉圖像中的目標(biāo)屬性區(qū)域?qū)?yīng)的掩碼圖，并獲取參考圖像；