[發(fā)明專(zhuān)利]人臉圖像屬性編輯方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010326169.1
• 申請(qǐng)日: 2020-04-23
• 公開(kāi)（公告）號(hào): CN111563427A
• 公開(kāi)（公告）日: 2020-08-21
• 發(fā)明（設(shè)計(jì)）人: 寧欣;李衛(wèi)軍;許少輝;董肖莉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院半導(dǎo)體研究所
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/34;G06K9/42;G06K9/46;G06T9/00
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 周天宇

本公開(kāi)提供了一種人臉圖像屬性編輯方法，包括：S1，采用人臉圖像樣本集訓(xùn)練編碼器，以使編碼器輸出所述人臉圖像的特征向量；S2，將特征向量輸入解碼器獲得重建人臉圖像樣本；S3，采用訓(xùn)練完成的編碼器提取標(biāo)簽人臉的標(biāo)簽特征向量；S4，將標(biāo)簽特征向量與其對(duì)應(yīng)的標(biāo)簽屬性數(shù)據(jù)進(jìn)行屬性回歸，獲得每一標(biāo)簽屬性的屬性方向；S5，將待編輯人臉圖像與編輯操作所對(duì)應(yīng)的屬性方向疊加獲得編輯后的人臉圖像。實(shí)現(xiàn)大規(guī)模的人臉屬性編輯，大幅提升合成圖像分辨率和屬性編輯的準(zhǔn)確率。另一方面，本公開(kāi)還提供了一種人臉圖像屬性編輯裝置及電子設(shè)備。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人臉圖像處理技術(shù)領(lǐng)域，尤其涉及一種人臉圖像屬性編輯方法、裝置及設(shè)備。

背景技術(shù)

人臉屬性編輯指的是在不改變輸入圖像身份和其他屬性的情況下，實(shí)現(xiàn)目標(biāo)屬性的指向性修改，在數(shù)據(jù)擴(kuò)充、影音娛樂(lè)、醫(yī)美等行業(yè)具有廣泛的應(yīng)用前景。當(dāng)前使用深度學(xué)習(xí)算法進(jìn)行人臉編輯的方法主要有屬性遷移和屬性融合，兩者大都基于生成對(duì)抗網(wǎng)絡(luò)(GAN，Generative Adversarial Networks)。前者需要首先構(gòu)建出源域和目標(biāo)域的圖像集，采用編碼一解碼結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，在解碼過(guò)程中添加目標(biāo)域的監(jiān)督信息，使合成的圖像具有目標(biāo)屬性，以此來(lái)達(dá)到人臉編輯的目的，但為了獲得屬性操縱的特征表示，屬性遷移的方向必須要經(jīng)過(guò)空間池化或者下采樣的步驟，不可逆低降低了空間分辨率和特征圖的細(xì)節(jié)，導(dǎo)致生成圖像的分辨率較低，另外，由于屬性之間相互耦合，屬性編輯的準(zhǔn)確率也不高，例如，在修改輸入圖像的皮膚質(zhì)量時(shí)，輸出結(jié)果會(huì)更加傾向于女性化，在對(duì)輸入圖像添加胡須特征時(shí)，生成圖像的特征會(huì)更傾向男性化等；后者首先提取輸入的不同屬性圖像的特征向量，對(duì)特征進(jìn)行線性插值，獲得輸入屬性的中間狀態(tài)，使用生成器，重建出目標(biāo)屬性的漸變圖像，由于很難從特征向量中單獨(dú)分離出目標(biāo)屬性的特征向量，風(fēng)格混合的方式一般都會(huì)造成目標(biāo)屬性之外的區(qū)域發(fā)生變化，例如，將男性兒童和女性老人的特征進(jìn)行加權(quán)，年齡屬性在發(fā)生變化的同時(shí)，性別特征也會(huì)發(fā)生明顯的變化。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問(wèn)題

本公開(kāi)提供了一種人臉圖像屬性編輯方法、裝置及設(shè)備，至少解決以上技術(shù)問(wèn)題。

(二)技術(shù)方案

本公開(kāi)提供了一種人臉圖像屬性編輯方法，包括：S1，采用人臉圖像樣本集訓(xùn)練編碼器，以使編碼器輸出所述人臉圖像的特征向量；S2，將特征向量輸入解碼器獲得重建人臉圖像樣本；S3，采用訓(xùn)練完成的編碼器提取標(biāo)簽人臉的標(biāo)簽特征向量；S4，將標(biāo)簽特征向量與其對(duì)應(yīng)的標(biāo)簽屬性數(shù)據(jù)進(jìn)行屬性回歸，獲得每一標(biāo)簽屬性的屬性方向；S5，將待編輯人臉圖像與編輯操作所對(duì)應(yīng)的屬性方向疊加獲得編輯后的人臉圖像。

可選地，步驟S4還包括對(duì)屬性方向進(jìn)行正交處理，使得不同屬性方向之間相互垂直。

可選地，步驟S2之后還包括：計(jì)算重建人臉圖像樣本的像素?fù)p失和感知損失；不斷迭代步驟S1和S2以使像素?fù)p失和感知損失小于預(yù)設(shè)值。

可選地，不斷迭代步驟S1和S2過(guò)程中還包括增加所述編碼器和解碼器的網(wǎng)絡(luò)層。

可選地，步驟S1之前還包括：篩選出具有標(biāo)簽屬性的人臉圖像組成所述人臉圖像樣本集；對(duì)人臉圖像樣本集進(jìn)行預(yù)處理。

可選地，對(duì)人臉圖像樣本集進(jìn)行預(yù)處理具體為：對(duì)人臉圖像樣本集中的人臉圖像進(jìn)行裁剪；對(duì)裁剪后的人臉圖像進(jìn)行對(duì)齊；將人臉圖像放縮至預(yù)設(shè)大小。

可選地，采用人臉檢測(cè)算法對(duì)所述人臉圖像樣本集中的人臉圖像進(jìn)行裁剪。

可選地，采用人臉特征點(diǎn)定位算法使所述裁剪后的人臉圖像對(duì)齊。